一篇阅读超10万的安全通报,相信很多朋友都看到了。这让自己部署Ollama一下子成了高危的事情。
安全无小事,如果是在公网上部署Ollama来用的话,一定要参考公告把相关的措施配置好,防火墙等一定要打开,这其实也都是网工日常工作中的基本操作。
而个人在局域网中部署Ollama之后,要如何做才能更安全呢,来一起看看具体怎么操作吧。
个人局域网中部署的话,因为我们基本上不会把Ollama的服务直接暴露出去,所以相对安全。它受攻击的几率和你安装的其它应用,比如Steam,微信等等受攻击的几率基本一样。
不过还是不能掉以轻心,来看看怎么让自己部署的Ollama更安全吧。
1. 保持Ollama版本的更新(最重要)
因为是内网,所以通过保持版本的更新来避免历史版本中的漏洞是最重要的,现在最新的版本是 0.5.13。通过下面的命令可以查看你Ollama的版本。
ollama --version``ollama version is 0.5.7
可以看到,我这个版本就不是最新的版本。其实Ollama的Windows和Mac版本默认都会打开自动更新。以Windows版为例。
当Ollama发现新的版本之后,会通过图标来提示,在Logo上会有一个蓝色标记,来提醒有新版本了。
右键点击Logo之后,就可以选择“Restart to update", Ollama就会自动运行新版本的安装包,完成更新。
当然,你也可以去ollama.com 手动下载新版本的安装包,来进行覆盖安装,进行手动的升级。
Mac下的Ollama升级也是类似,就不赘述了。
2. 设置OLLAMA_ORIGINS参数
将OLLAMA_ORIGINS参数设为局域网内网址,这个参数是设置Ollama会响应哪里来的跨域请求。如果我们要是让Ollama可以响应局域网中其它主机的访问请求,通常会把它配置成”*“,也就是允许所有的主机访问,如果想要进行限制,就可以指定特定的网段或者IP地址,这样就可以限制只响应这些地址的请求。比如,我的局域网是192.168.1.0这个网段,那就把这个参数设置为:
OLLAMA\_ORIGINS "192.168.1.\*"
但是这个参数在我这里有时好用有时不好用,所以,我还是把它设置成了“*”,来通过下一步来做防护。
3. 设置系统防火墙
通过参数设置是应用层的开关,如果实现更安全的保障,这就需要借助系统的防火墙了。
Windows 如果你用Windows Server在公网配置了Ollama,防火墙的配置也基本是一样的。
在搜索框中写“防护墙”,就可以看到“防火墙和网络保护”的选项
打开后,先确认防火墙已经打开了,然后选择“高级设置”
在防火墙的高级设置中,选择"入站规则”,也就是对于其它主机对你的访问请求进行控制,在这里找到Ollama的规则。
不知道为什么这里是两个,可能跟我装了两次有关?
这两个策略是Ollama安装时自动生成了,规则是允许所有的外来访问。这两条规则不能够修改,所以直接把它们禁用。可以通过点击右键,选择“禁用规则”,或者在右侧的菜单里选择“禁用规则”,都可以。
操作成功之后,就可以看到这两条规则前面的绿色标志没有了。现在所有其它主机都不能访问Ollama了。
如果要指定特定的主机访问,就需要建立一条新的规则,参考下面的步骤来创建
找到你的Ollama程序
到这里,规则就创建好了
可是现在仍然是所有其它主机都可以访问这台主机的Ollama服务。下面来添加白名单,只允许特定的IP地址的访问。
双击这条策略,或者点击右侧的“属性”,都可以打开这条策略的配置窗口
选择“作用域”
在这里添加IP地址白名单
比如我添加了一个192.168.10.156的主机
选择应用,这条策略就配置成功了。
接下来做个测试,可以看到,只有156这个IP的主机可以访问这台Windows的Ollama服务,其它的不能访问。
Mac OS 自带的防火墙功能比较弱,只有“允许”和“禁止”两个选项,需要借助pfctl服务(也就是package forwarding服务)来进行比较细节的控制。操作都是命令行的,发出来供大家参考。
假设,只允许192.168.10.134这个IP的主机访问Ollama的11434端口,这样就需要配置/etc/cf.conf文件,在文件的最后添加两条内容
pass in quick proto tcp from 192.168.10.134 to any port 11434``block in proto tcp from any to any port 11434
如果需要允许多个IP的话,格式是这样的
pass in quick proto tcp from { 192.168.10.133,192.168.10.134 } to any port 11434``block in proto tcp from any to any port 11434
这里的“quick"是一个标识符,来指示说如果这条满足了,就不进行下面的规则检查了。从而实现了只允许特定IP地址访问的功能。
配置完后,执行下面的命令,就可以实现访问控制了
#加载配置sudo pfctl -f /etc/pf.conf
#打开pfctl服务,默认这个服务是关闭的``sudo pfctl -e
不过,Mac OS中,pfctl的服务默认是关闭的,而且每次系统启动的时候会变为关闭状态。所以如果你的Mac是要经常关机的话,记得每次启动执行一下上面的两条命令。或者自己写个加载项,让系统启动的时候自己加载。
所以,装了Ollama也没什么可害怕的,尤其是在自己的内网中,它受攻击的几率和你其它应用受攻击的几率基本是一样的。我们做好防护就可以继续愉快的玩耍了。
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
基于此,我用做产品的心态来打磨这份大模型教程,深挖痛点并持续修改了近70次后,终于把整个AI大模型的学习门槛,降到了最低!
在这个版本当中:
第一您不需要具备任何算法和数学的基础
第二不要求准备高配置的电脑
第三不必懂Python等任何编程语言
您只需要听我讲,跟着我做即可,为了让学习的道路变得更简单,这份大模型教程已经给大家整理并打包,现在将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
五、AI产品经理大模型教程
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓