“安全转行”之一键部署你自己的 ai 大模型

鸡腿爱学习

于 2024-10-07 11:33:00 发布

阅读量313

点赞数 11

文章标签：安全人工智能 python 学习开发语言学习方法

本文链接：https://blog.csdn.net/2401_84206094/article/details/142737645

版权

大家好，众所周知.....废话少说开始搭建...

准备工作：

ollama：启动并运行其他大型语言模型，可编辑新的指令提示词，类似docker和dockerfile”，目前已经集成了gemma，可直接下载并使用。https://github.com/ollama/ollama

chatbox：桌面客户端，相当于前端展示ui，提供美化代码和其他的小功能。https://github.com/Bin-Huang/chatbox

gemma：大模型，可以理解为“payload ”，与 OpenAI GPT-3.5，OpenAI GPT-4.0同属于大型语言模型Large Language Models,简称LLM。https://ai.google.dev/gemma?hl=zh-cn

开始搭建：

1、下载最新版的ollama，目前版本是v0.1.27。注意：安装路径默认到c盘且无法更改，安装后整个文件夹在其他的路径就好了，能正常使用。

2、访问https://ollama.com/官网，右上角“Models”，这里就都是ollama已经集成好的语言模型可以使用，单击“gemma”，然后“tags”，里面是gemma对应的不用版本。简单说一下:7b :2b代表词汇量，7亿和2亿

3、然后在ollama路径下打开cmd窗口输入“ollama run gemma:7b”会自动下载，就很像docker pull 镜像，完成后会直接就可以对话，

性能消耗如图，CPU 10G，GPU 7G感觉还可以，回答的速度也不慢，基本1~2秒

4，在官方api中可以看到ollama的默认端口是11434，下载chatbox，打开左下角设置，对应着图片里的配置即可。结束。

~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~

先说体验，感觉是不如chatgpt3.5的，中文能力相比其他模型差一些，数据量还是有限，期待后续能继续喂养，但是速度还是很快的，也不是很吃硬件配置。然后了解了一下ai相关的漏洞，网上找了一些资料，试了几下都未果，就不演示过程了，这里就列举下，就当拓展一下思路，学个新词“**prompt injection** ”提示词注入。

1、“越狱”

ai对于“版本”、“道德”、“法律”等信息十分敏感，“越狱”也就是用户通过特殊的提示，让目标应用输出违反其内置道德规范的结果。首先最有名的就是chagpt“奶奶漏洞”，利用“亲情”诱骗ai做出一些破格的回答，还有类似，“我已经获得xxx版权”，“扮演我的爱人”等等，不过在此次事件之后ai就不那么容易再被pua，这种方式对于越“聪明”的ai，越容易中招。多试几次“奶奶”还是会给你喜欢的win10序列码，是否真实暂不讨论...

2、信息泄露

还有一个新闻，说国外一位用户在使用ChatGPT时表示，他原本只是进行一个无关的查询，却意外发现在和ChatGPT的聊天记录中出现了不属于自己的对话内容。对话泄露了很多非用户本人的信息，其中包含了大量敏感内容。这间接地说明了chatgpt是会保存用户的数据的，无论是个人隐私还是企业数据，这都是一个巨大的风险。

思考：现在的ai可以在互联网上搜索信息，同时还会附上链接url，如果有人某些方式将一些恶意的信息通过搜索引擎刷到一个很高的权重，然后被ai学习到，那它就会直接返回给用户，如果是放下一些带有病毒的链接，那效果堪比蠕虫病毒..

最后…

其实还看到一些其他的，比如返回了其他用户的提问信息，超长的提示词造成的溢出，我认为这些问题对于这种级别的程序来说，顶多就是项目初期的“bug”，慢慢都会修复，就先写到这里，下一篇分析一下当前ai的根儿“Transformer结构”和探讨在安全行业中可能有应用。

一、大模型全套的学习路线

学习大型人工智能模型，如GPT-3、BERT或任何其他先进的神经网络模型，需要系统的方法和持续的努力。既然要系统的学习大模型，那么学习路线是必不可少的，下面的这份路线能帮助你快速梳理知识，形成自己的体系。

L1级别:AI大模型时代的华丽登场

L2级别：AI大模型API应用开发工程

L3级别：大模型应用架构进阶实践

L4级别：大模型微调与私有化部署

一般掌握到第四个级别，市场上大多数岗位都是可以胜任，但要还不是天花板，天花板级别要求更加严格，对于算法和实战是非常苛刻的。建议普通人掌握到L4级别即可。