前言
李彦宏说说：开源大模型不如闭源，但是阿里好像不这么想。
Qwen大模型表示性能和开源，我都要了！最近，被国内外网友催更的Qwen大模型发布了V2版本。
今天就一起看看这次的升级重点，并手把手教你如何自己部署一套Qwen2，然后大家就可以自己开始使用探索了。
Qwen2
就在6月7日，阿里云重磅发布全球性能最强的开源模型Qwen2-72B，从官方发布的技术Blog中可以看到，Qwen2-70B在十多个权威测评榜单中，得分都超过了Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。
可以说，目前Qwen已经成为除Llama外，全球开发者的另一主流选项。所有人均可在魔搭社区和Hugging Face免费下载通义千问最新开源模型。
Qwen2这次大幅提升了代码、数学、推理、指令遵循、多语言理解等能力，这里总结几个 qwen2突出的方面：
代码和数学
在这方面Qwen的表现一直不错，这次qwen2更近一步，刷新历史成绩。
长文本
在长文本方面，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息
安全
在安全方面，根据给出的测试数据，Qwen2-72B-Instruct模型在安全性方面与GPT-4的表现相当。
部署教程
开源大模型最大的好处，就是可以自己部署来玩，那我就来实际部署Qwen2运行一下。
1、本地部署
首先我们先来看本地部署，有条件的话当然是要本地跑一跑啦。开始前，首先要确认一下自己的硬件配置，根据自己的情况来选择合适的模型。
本地运行我选择的工具是Ollama，之前我的视频中也给大家介绍这款工具，基本下载安装很简单可以参考一下。
接下来我们准备下载qwen2模型，在ollama的models里直接搜qwen就能找到Qwen2的模型。
这里我们进入qwen2之后，可以看到有很多的相关说明，包括模型的不同版本选择，还有一些参考的测评分数。我的机器只能选择7B的模型，这里选7B，然后复制命令
ollama run qwen2:7b
再打开一个终端直接运行即可。
之前的发ollama文章的时候API功能没有说明，这里给大家介绍一下。最新的版的Ollama启动模型后会自动带有API服务，可以通过以下指令访问刚刚部署好的qwen2。
curl <http://localhost:11434/api/generate> -d '{
"model": "qwen2:7b",
"prompt":"Why is the sky blue?","stream":"false"
}'
使用curl或者API工具的时候，记得加上stream：false的参数来关闭流式返回。
如果想通过代码使用API的，可以使用Ollama推出的SDK，比如Ollama.js，使用也很简单，先通过npm安装，然后就可以在代码中使用了。
npm i ollama
简单试了一下，我本地的16G内存可以跑得动，但速度确实就一般了。对于一般人来说，自己在本地组大显存比较麻烦，所以我也给大家带来一套云上部署的参考，毕竟云上资源的优势就是随用随启。
2、云上部署
云上部署的话，首推是用阿里云提供的大模型服务平台百炼，这样你就不需要再从头一点点的搞配置了。
进入百炼平台，选择模型中心-模型部署-部署新模型，之后选择合适的模型进行部署。因为目前qwen2模型还没有上来，这里就先用千问max为例，选择后付费的模式。
部署所需的费用，点击确认后，系统将开始部署，系统将在部署成功后开始计费。对于部署模型的收费情况，可以参考这里。
https://help.aliyun.com/document_detail/2586397.html
等待部署完成后，我们就可以使用自己的在线大模型了。
其实如果是想调用Qwen2的能力，最建议的方式是通过API来使用，这是最经济的方式，可以省下部署资源的费用。
本地和云上对比
这里我将本地部署和云上部署做一个简要的对比。
本地部署优势：可控性强、如果已经有了基础硬件，那么没有成本。但是需要有一些动手能力。
云上部署优势：云上使用首推的是使用API，第一如果考虑综合的硬件投入，实际成本是更低的。第二不用考虑环境和配置，上手容易。当然对应的缺点是需要公网。
举个例子，Qwen-72B开源模型、每月1亿token用量为例，在阿里云百炼上直接调用API每月仅需600元，如果是自己本地部署，前期投入大家自己心里有数。
如果企业级的选择，尤其是初创企业，那么更建议从云上开始，毕竟自己的业务才是核心。
Qwen2实测反馈
此前，Qwen1.5就在各大权威榜单和大模型竞技场中，超越了国内几乎所有大模型，无论是开源还是闭源。而这次发布的Qwen2，据说性能又有大幅提升，其中，Qwen2-72B的性能尤其优越。本次发布的所有模型都能够支持30多国语言，除了中文、英文之外，还增加了27种语言相关的高质量数据，提升了模型的多语言能力。
Qwen2所有尺寸模型都使用了GQA（分组查询注意力）机制，以便让用户体验到GQA带来的推理加速和显存占用降低的优势。Qwen2还增大了上下文长度支持，Qwen2-72B-Instruct能够完美处理128k上下文长度内的信息抽取任务。
国内外的开发者都热情高涨，更有网友实测Qwen2在医学术语、翻译方面更准确，并且编程和推理能力更强
海外的评价这么高，那么我们也来自己试一试，这里为了好看我用了在线的qwen模型。
首先是文本生成的能力。
不得不说，这段确实很有《红楼梦》的味道，妥妥的满分作文。
再来试试在文本方面的创造力
Qwen2不但写出了诗，还对诗的含义进行了解释。
自从网上弱智吧的测试火了之后，「弱智吧」就成了检测大模型能力的一项重要指标。下面测试一下Qwen2会不会被弱智吧的问题给绕进去。
从上面图片可以看出来，Qwen2不但给出了正确答案，还给出很棒的建议。
总结
随着美国对于大模型开源项目的限制加码，llama系列未来还能否随心所欲地使用存在疑问，但最近国产大模型的不断发展也让我们看到了希望，尤其是这次Qwen2的发布，似乎更让我们找到了答案。
如何系统的去学习大模型LLM ？
大模型时代，火爆出圈的LLM大模型让程序员们开始重新评估自己的本领。 “AI会取代那些行业？”“谁的饭碗又将不保了？”等问题热议不断。
事实上，抢你饭碗的不是AI，而是会利用AI的人。
继科大讯飞、阿里、华为等巨头公司发布AI产品后，很多中小企业也陆续进场！超高年薪，挖掘AI大模型人才！ 如今大厂老板们，也更倾向于会AI的人，普通程序员，还有应对的机会吗？
与其焦虑……
不如成为「掌握AI工具的技术人」，毕竟AI时代，谁先尝试，谁就能占得先机！
但是LLM相关的内容很多，现在网上的老课程老教材关于LLM又太少。所以现在小白入门就只能靠自学，学习成本和门槛很高。
针对所有自学遇到困难的同学们，我帮大家系统梳理大模型学习脉络，将这份 LLM大模型资料 分享出来：包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
一、LLM大模型经典书籍
AI大模型已经成为了当今科技领域的一大热点，那以下这些大模型书籍就是非常不错的学习资源。
二、640套LLM大模型报告合集
这套包含640份报告的合集，涵盖了大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。(几乎涵盖所有行业)
三、LLM大模型系列视频教程
四、LLM大模型开源教程（LLaLA/Meta/chatglm/chatgpt）
LLM大模型学习路线 ↓
阶段1：AI大模型时代的基础理解
-
目标：了解AI大模型的基本概念、发展历程和核心原理。
-
内容：
- L1.1 人工智能简述与大模型起源
- L1.2 大模型与通用人工智能
- L1.3 GPT模型的发展历程
- L1.4 模型工程
- L1.4.1 知识大模型
- L1.4.2 生产大模型
- L1.4.3 模型工程方法论
- L1.4.4 模型工程实践
- L1.5 GPT应用案例
阶段2：AI大模型API应用开发工程
-
目标：掌握AI大模型API的使用和开发，以及相关的编程技能。
-
内容：
- L2.1 API接口
- L2.1.1 OpenAI API接口
- L2.1.2 Python接口接入
- L2.1.3 BOT工具类框架
- L2.1.4 代码示例
- L2.2 Prompt框架
- L2.3 流水线工程
- L2.4 总结与展望
阶段3：AI大模型应用架构实践
-
目标：深入理解AI大模型的应用架构，并能够进行私有化部署。
-
内容：
- L3.1 Agent模型框架
- L3.2 MetaGPT
- L3.3 ChatGLM
- L3.4 LLAMA
- L3.5 其他大模型介绍
阶段4：AI大模型私有化部署
-
目标：掌握多种AI大模型的私有化部署，包括多模态和特定领域模型。
-
内容：
- L4.1 模型私有化部署概述
- L4.2 模型私有化部署的关键技术
- L4.3 模型私有化部署的实施步骤
- L4.4 模型私有化部署的应用场景
这份 LLM大模型资料 包括LLM大模型书籍、640套大模型行业报告、LLM大模型学习视频、LLM大模型学习路线、开源大模型学习教程等, 😝有需要的小伙伴，可以 扫描下方二维码领取🆓↓↓↓
扫一扫
24万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
