当国内还有人说开源是智商税的时候，Meta 什么都没说，只是发布了开源标杆 Llama3.1。三种不同参数规模，8b，70b，405b。
其中 405b 已经达到了最先进的闭源模型的水平。
开源模型，简单理解就是你可以把代码下载下来，在你自己的电脑上跑。但是受限于模型参数，普通的个人电脑，一般只能跑个 2b，或者 8b的模型。405b 的参数太大，个人电脑就不行了。
开源的好处，对其他厂商来说就是可以参考/复制/微调人家的模型，对个人用户来说，就是便宜。
怎样才能体验到 Llama3.1-405b？一些厂商会自己部署这些模型，然后提供给大家使用。
在 Llama3.1出来之后，我一直在等号称推理速度最快的 Groq 上 405b 模型，但到今天上边还只有 8b和 70b。
不过很快，国产厂商 SiliconCloud 就提供了这个 405b 的模型，不需要科学上网，就可以在官网注册、实名认证，然后利用里边的参数在你自己喜欢的客户端使用了。
下边会介绍一下如何在 SiliconCloud 获取相应参数，然后在 chatbox 客户端调用 llama3.1-405b，以及我认为的国产（最强）开源模型 deepseek；利用 sider 这个浏览器插件，随时总结、解释、翻译你选中的文本。
注册 SiliconCloud，获取 api key
先使用这个链接注册 SiliconCloud （https://cloud.siliconflow.cn?referrer=clxen2ebh0007od7x40h5ep7z）， 你将会获赠 2000 万 token 额度（me,too）。个人使用，几个月都用不完。
之后，到「API 密钥」页面，点击「创建新 API 密钥」
然后，创建好的密钥会直接出现在列表里。点击前边的小眼睛，就会明文展示密钥，这时候就可以把密钥复制下来
然后，我们要去「文档」里获取 base_url和模型名称，以填在其他客户端里。
这里我直接列出来后边要用的两个模型名称：
base_url:https://api.siliconflow.cn
model name: deepseek-ai/DeepSeek-V2-Chat,meta-llama/Meta-Llama-3.1-405B-Instruct
注意，如果你想用 405b，目前需要实名认证，应该也是合规要求，在这里https://cloud.siliconflow.cn/account/authentication 认证一下就行。
在chatbox 里调用各种模型，完成各种任务
chatbox 是一个流行的大模型客户端，作者是一个腾讯的程序员，当初是为了自己使用方便开发的，结果后来越来越受欢迎。
可以去这里下载相应版本的客户端。https://chatboxai.app/zh#download
安装好之后是这样的：
然后我们去「设置」里 ，找到 OpenAI API来配置上边我们拿到的参数。因为 SiliconCloud的 api 跟 OpenAI 的是兼容的，所以这里用 OpenAI api来配置。
如下图所示:
- 把第一个红框里的 API 密钥改成你自己刚生成的密钥。
- API 域名就是我们刚才提供的 base_url：https://api.siliconflow.cn。
- 「模型」那里点开往下拉，选择「自定义模型」
- 然后在自定义模型名，那里输入meta-llama/Meta-Llama-3.1-405B-Instruct，或者deepseek-ai/DeepSeek-V2-Chat。这里是我用比较多的，想要尝试其他模型，只需要去这里找相应的 model 即可 https://docs.siliconflow.cn/reference/chat-completions-1
然后，就可以愉快地使用啦：
其他的一些使用细节，就可以自己再探索啦。
使用 sider，在浏览器中随时调用大模型
sider 是一个浏览器插件，使用起来非常方便，也是现在少有的可以使用你自己的 api key 来调用大模型的插件，毕竟这种方式他赚不到钱嘛。
有两种使用方式：
- 一种是在浏览器中选中文本时出来弹窗，这里可以自定义你的提示词。我设的三个是：翻译，解释，总结。
-
一种就是在侧边栏唤起，功能更全，可以聊天、写作、翻译、提问等等
sider的好处就是定制化能力强，可以用你自己的 api key，可以自己调整弹窗的提示词。
要怎么使用 sider呢？
如果你不想倒腾网络的问题，就需要使用微软的 edge 浏览器，然后在扩展里搜索 sider，就可以安装使用了。
我们需要配置一下，使用 SiliconCloud送我们的 2000 万 token.
点击右下角「设置」，进入通用配置页，选择"OpenAI API key"，然后按照下边的图配置一下就好啦。我在这里配的是deepseek-v2-chat。
大模型的技术发展好像最近有些平静，应用上也没有啥好的 best practices。但在我们看不到的地方，很多技术人和产品人都在做各种各样的探索。像 SiliconCloud 这样的公司，也把个人接触最先进大模型的门槛降到了最低。我接触到的很多人，在工作中使用大模型也越来越多。
利用 SiliconCloud 提供的免费 token，再结合 chatbox 和 sider，你就可以在工作的各个场景中无缝调用大模型，随时随地问他问题，就像一个百科全书一样陪在身边。不管未来怎样，先用起来再说。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
1026
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
