当 GPT4 刚问世时，社区猜测它用了“多少亿个参数”才实现的如此惊人的性能。 但事实证明，GPT4 的创新不仅仅是“更多参数”。 它本质上是 8 个 GPT 3.5 模型一起工作。 这些模型中的每一个都针对不同的任务（即“专家”）进行了调整。 这称为“专家组合”(Mixture of Experts，缩写为 MoE)。
输入文本根据内容和所需任务会被分派给 8 个专家模型中的一个。 然后，小组中的其他专家模型会评估结果，从而改进未来的问题的分配。
[Mistral AI 的 Mixtral 8x7B] 是基于 8 个 Mistral-7B 模型的开源 MoE LLM。 借助 WasmEdge，你可以在任意设备上创建并运行该 LLM 的跨平台应用程序，包括自己的笔记本电脑、边缘设备和服务器。
点击这里查看[运行视频]。我用视频里的问题问了 GPT 4 和其他开源大模型，目前回答正确的只有 GPT4 和 Mixtral-8x7B.
在自己的设备上运行 Mixtral-8x7B
步骤1：通过以下命令行安装 [WasmEdge]。
curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install.sh | bash -s -- --plugin wasi_nn-ggml
步骤2: 下载 Mixtral-8x7B-Instrcut-v0.1 GGUF 文件。由于模型的大小为32.2 GB，下载可能需要一定时间。
curl -LO https://huggingface.co/TheBloke/Mixtral-8x7B-Instruct-v0.1-GGUF/resolve/main/mixtral-8x7b-instruct-v0.1.Q5_K_M.gguf
步骤3：下载用于聊天应用的跨平台可移植 Wasm 文件。该应用程序让你能用命令行与模型聊天，它的 Rust 源代码在[这里]。
curl -LO https://github.com/second-state/llama-utils/raw/main/chat/llama-chat.wasm
就是这样。可以通过输入以下命令在终端与模型进行聊天。
wasmedge --dir .:. --nn-preload default:GGML:AUTO:mixtral-8x7b-instruct-v0.1.Q5_0.gguf llama-chat.wasm -p mistral-instruct
可移植 Wasm 应用程序会自动利用设备上的硬件加速器（如 GPU）。
以下在 Jetson Orin 64G 上运行的问答。
[You]:
What is the best place to watch the new year ball drop in New York City?
[Bot]
The most famous place to watch the New Year Ball Drop is in Times Square, New York City. However, it's important to note that this area is extremely crowded, so if you prefer a less chaotic environment, there are other options. You can watch the ball drop from nearby hotels like the Marriott Marquis or the Embassy Suites, which have rooms and restaurants with views of Times Square. You can also watch it from surrounding bars and restaurants or from special viewing parties. If you're not in New York City, the event is broadcasted live on television and online platforms.
为 Mixtral-8x7B 模型创建与 OpenAI 兼容的 API 服务
与 OpenAI 兼容的 Web API 能让该模型与各种不同的 LLM 工具和代理框架（如 flows.network、LangChain 和 LlamaIndex）适配。
下载一个 API 服务器应用。它也是一个跨平台可移植的 Wasm 应用程序，可以在各种不同 CPU 和 GPU 设备上运行。 [查看]该应用的 Rust 源代码。
curl -LO https://github.com/second-state/llama-utils/raw/main/api-server/llama-api-server.wasm
然后，下载聊天机器人 Web UI，以通过聊天机器人 UI 与模型进行交互。
curl -LO https://github.com/second-state/chatbot-ui/releases/download/v0.1.0/chatbot-ui.tar.gz
tar xzf chatbot-ui.tar.gz
rm chatbot-ui.tar.gz
接下来，用以下命令行启动模型的 API 服务器。 然后，打开浏览器访问 [http://localhost:8080]就能开始聊天了！
wasmedge --dir .:. --nn-preload default:GGML:AUTO:mixtral-8x7b-instruct-v0.1.Q5_0.gguf llama-api-server.wasm -p mistral-instruct
还可以从另一个终端使用 curl 与 API 服务器交互。
curl -X POST http://localhost:8080/v1/chat/completions \
-H 'accept:application/json' \
-H 'Content-Type: application/json' \
-d '{"messages":[{"role":"user", "content": "What is the capital of France?"}], "model":"Mixtral-8x7B-Instruct-v0.1"}'
就这样。WasmEdge 是[运行 LLM 应用程序最简单、最快速、最安全的方式]。尝试一下吧！
什么是“专家组合”（MoE）？
“专家组合”（MoE）是机器学习和人工智能中的一个概念，其中多个专业化的模型或组件（称为“专家”）相结合以提高整体性能。 每个专家都被设计来处理特定的数据子集或特定类型的任务。 会有一个门控网络评估每个输入并确定最适合它的专家。 然后专家的输出被组合起来，通常是相加的。 这种方法允许在单个模型框架专业化地对不同的数据或任务进行处理，从而提高效率和有效性。
如何学习AI大模型？
我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。
我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。
第一阶段： 从大模型系统设计入手，讲解大模型的主要方法；
第二阶段： 在通过大模型提示词工程从Prompts角度入手更好发挥模型的作用；
第三阶段： 大模型平台应用开发借助阿里云PAI平台构建电商领域虚拟试衣系统；
第四阶段： 大模型知识库应用开发以LangChain框架为例，构建物流行业咨询智能问答系统；
第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
第六阶段： 以SD多模态大模型为主，搭建了文生图小程序案例；
第七阶段： 以大模型平台应用与开发为主，通过星火大模型，文心大模型等成熟大模型构建大模型行业应用。
👉学会后的收获：👈
• 基于大模型全栈工程实现（前端、后端、产品经理、设计、数据分析等），通过这门课可获得不同能力；
• 能够利用大模型解决相关实际项目需求： 大数据时代，越来越多的企业和机构需要处理海量数据，利用大模型技术可以更好地处理这些数据，提高数据分析和决策的准确性。因此，掌握大模型应用开发技能，可以让程序员更好地应对实际项目需求；
• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。
1.AI大模型学习路线图
2.100套AI大模型商业化落地方案
3.100集大模型视频教程
4.200本大模型PDF书籍
5.LLM面试题合集
6.AI产品经理资源合集
👉获取方式：
😝有需要的小伙伴，可以保存图片到wx扫描二v码免费领取【保证100%免费】🆓
16
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
