当国内还有人说开源是智商税的时候,Meta 什么都没说,只是发布了开源标杆 Llama3.1。三种不同参数规模,8b,70b,405b。
其中 405b 已经达到了最先进的闭源模型的水平。
开源模型,简单理解就是你可以把代码下载下来,在你自己的电脑上跑。但是受限于模型参数,普通的个人电脑,一般只能跑个 2b,或者 8b的模型。405b 的参数太大,个人电脑就不行了。
开源的好处,对其他厂商来说就是可以参考/复制/微调人家的模型,对个人用户来说,就是便宜。
怎样才能体验到 Llama3.1-405b?一些厂商会自己部署这些模型,然后提供给大家使用。
在 Llama3.1出来之后,我一直在等号称推理速度最快的 Groq 上 405b 模型,但到今天上边还只有 8b和 70b。
不过很快,国产厂商 SiliconCloud 就提供了这个 405b 的模型,不需要科学上网,就可以在官网注册、实名认证,然后利用里边的参数在你自己喜欢的客户端使用了。
下边会介绍一下如何在 SiliconCloud 获取相应参数,然后在 chatbox 客户端调用 llama3.1-405b,以及我认为的国产(最强)开源模型 deepseek;利用 sider 这个浏览器插件,随时总结、解释、翻译你选中的文本。
注册 SiliconCloud,获取 api key
先使用这个链接注册 SiliconCloud (https://cloud.siliconflow.cn?referrer=clxen2ebh0007od7x40h5ep7z), 你将会获赠 2000 万 token 额度(me,too)。个人使用,几个月都用不完。
之后,到「API 密钥」页面,点击「创建新 API 密钥」
然后,创建好的密钥会直接出现在列表里。点击前边的小眼睛,就会明文展示密钥,这时候就可以把密钥复制下来
然后,我们要去「文档」里获取 base_url和模型名称,以填在其他客户端里。
这里我直接列出来后边要用的两个模型名称:
base_url:https://api.siliconflow.cn
model name: deepseek-ai/DeepSeek-V2-Chat,meta-llama/Meta-Llama-3.1-405B-Instruct
注意,如果你想用 405b,目前需要实名认证,应该也是合规要求,在这里https://cloud.siliconflow.cn/account/authentication 认证一下就行。
在chatbox 里调用各种模型,完成各种任务
chatbox 是一个流行的大模型客户端,作者是一个腾讯的程序员,当初是为了自己使用方便开发的,结果后来越来越受欢迎。
可以去这里下载相应版本的客户端。https://chatboxai.app/zh#download
安装好之后是这样的:
然后我们去「设置」里 ,找到 OpenAI API来配置上边我们拿到的参数。因为 SiliconCloud的 api 跟 OpenAI 的是兼容的,所以这里用 OpenAI api来配置。
如下图所示:
- 把第一个红框里的 API 密钥改成你自己刚生成的密钥。
- API 域名就是我们刚才提供的 base_url:https://api.siliconflow.cn。
- 「模型」那里点开往下拉,选择「自定义模型」
- 然后在自定义模型名,那里输入meta-llama/Meta-Llama-3.1-405B-Instruct,或者deepseek-ai/DeepSeek-V2-Chat。这里是我用比较多的,想要尝试其他模型,只需要去这里找相应的 model 即可 https://docs.siliconflow.cn/reference/chat-completions-1
然后,就可以愉快地使用啦:
其他的一些使用细节,就可以自己再探索啦。
使用 sider,在浏览器中随时调用大模型
sider 是一个浏览器插件,使用起来非常方便,也是现在少有的可以使用你自己的 api key 来调用大模型的插件,毕竟这种方式他赚不到钱嘛。
有两种使用方式:
- 一种是在浏览器中选中文本时出来弹窗,这里可以自定义你的提示词。我设的三个是:翻译,解释,总结。
-
一种就是在侧边栏唤起,功能更全,可以聊天、写作、翻译、提问等等
sider的好处就是定制化能力强,可以用你自己的 api key,可以自己调整弹窗的提示词。
要怎么使用 sider呢?
如果你不想倒腾网络的问题,就需要使用微软的 edge 浏览器,然后在扩展里搜索 sider,就可以安装使用了。
我们需要配置一下,使用 SiliconCloud送我们的 2000 万 token.
点击右下角「设置」,进入通用配置页,选择"OpenAI API key",然后按照下边的图配置一下就好啦。我在这里配的是deepseek-v2-chat。
大模型的技术发展好像最近有些平静,应用上也没有啥好的 best practices。但在我们看不到的地方,很多技术人和产品人都在做各种各样的探索。像 SiliconCloud 这样的公司,也把个人接触最先进大模型的门槛降到了最低。我接触到的很多人,在工作中使用大模型也越来越多。
利用 SiliconCloud 提供的免费 token,再结合 chatbox 和 sider,你就可以在工作的各个场景中无缝调用大模型,随时随地问他问题,就像一个百科全书一样陪在身边。不管未来怎样,先用起来再说。
如何系统的去学习大模型LLM ?
大模型时代,火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业
?”“谁的饭碗又将不保了?
”等问题热议不断。
事实上,抢你饭碗的不是AI,而是会利用AI的人。
继科大讯飞、阿里、华为
等巨头公司发布AI产品后,很多中小企业也陆续进场!超高年薪,挖掘AI大模型人才! 如今大厂老板们,也更倾向于会AI的人,普通程序员,还有应对的机会吗?
与其焦虑……
不如成为「掌握AI工具的技术人
」,毕竟AI时代,谁先尝试,谁就能占得先机!
但是LLM相关的内容很多,现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学,学习成本和门槛很高。
针对所有自学遇到困难的同学们,我帮大家系统梳理大模型学习脉络,将这份 LLM大模型资料
分享出来:包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点,那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集,涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师,还是对AI大模型感兴趣的爱好者,这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程(LLaLA/Meta/chatglm/chatgpt)
LLM大模型学习路线 ↓
阶段1:AI大模型时代的基础理解
-
目标:了解AI大模型的基本概念、发展历程和核心原理。
-
内容:
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2:AI大模型API应用开发工程
-
目标:掌握AI大模型API的使用和开发,以及相关的编程技能。
-
内容:
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3:AI大模型应用架构实践
-
目标:深入理解AI大模型的应用架构,并能够进行私有化部署。
-
内容:
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4:AI大模型私有化部署
-
目标:掌握多种AI大模型的私有化部署,包括多模态和特定领域模型。
-
内容:
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料
包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程
等, 😝有需要的小伙伴,可以 扫描下方二维码领取🆓↓↓↓