阿里巴巴开源了720亿参数规模的Qwen-72B

最新推荐文章于 2024-08-08 14:28:23 发布
最新推荐文章于 2024-08-08 14:28:23 发布
阅读量192 收藏
点赞数
文章标签： 人工智能 深度学习 语言模型 自然语言处理 gpt
原文链接：https://mp.weixin.qq.com/s/auC1RmZ4vPBy5KtiMogfhw
版权

阿里巴巴开源了720亿参数规模的Qwen-72B，是目前国内最大参数规模的开源大语言模型。Qwen-72B模型是在3万亿tokens数据上训练的结果。该数据集包含了中、英文等多个语言的语料，同时包含了代码、数学等数据。Qwen-72B训练数据的词表为15万亿的，最高支持32K上下文长度。

Qwen-72B模型对学术和个人完全开放，商用的情况如果月活低于100万，那就直接商用即可。如果月活超过100万那则需要申请，申请应该也是免费。Qwen-72B模型商用申请地址：https://dashscope.console.aliyun.com/openModelApply/Qwen-72B-Chat

图片

图片

图片

参考文献：
[1]https://huggingface.co/Qwen/Qwen-72B
[2]https://huggingface.co/Qwen/Qwen-72B-Chat
[3]https://github.com/QwenLM/Qwen

人工智能大模型讲师培训咨询叶梓
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
langchain-chatchat在window上使用cpu运行Qwen-1-8B-Chat时遇到ERROR: object
04-26
langchain-chatchat在window上使用cpu运行Qwen-1_8B-Chat时遇到ERROR: object of type ‘NoneType‘ has no len()，这个问题其实是因为"addmm_impl_cpu_" not implemented for 'Half’这个根本原因导致的，也就是cpu...
Qwen2-MOE-57B-A14B模型文件
06-09
Qwen2-MOE-57B-A14B模型文件
Qwen-72b单卡运行
m0_53353946的博客
03-27 3301
一旦 Xinference 服务运行起来，可以有多种方式来使用，包括使用网页、cURL 命令、命令行或者是 Xinference 的 Python SDK。如果需要使用 Xinference 进行模型推理，可以根据不同的模型指定不同的引擎。在下载模型的同时，当模型结束下载，自动拉起model.你可以通过openai的调用方法进行访问qwen-72b。如果你想使用 GGML 格式的模型，建议根据当前使用的硬件手动安装所需要的依赖，以充分利用硬件的加速能力。在图形化界面的基础上，原因在上面。
大模型笔记之-Qwen1.5-72B-chat | 4卡A800 推理
JunHowie的个人Blog
03-18 4422
Qwen1.5-72B-chat 本地部署
本地多卡(3090)部署通义千问Qwen-72B大模型提速实践：从龟速到够用
EthanLifeGreat的博客
07-07 2704
本文记录了多卡部署72B通义千问过程，将推理速度提到10token/s水平。
阿里开源大模型 Qwen-72B 私有化部署
机器学习社区
12-30 4603
近期大家都知道阿里推出了自己的开源的大模型千问72B，据说对于中文非常友好，在开源模型里面，可谓是名列前茅。千问拥有有强大的基础语言模型，已经针对多达 3 万亿个 token 的多语言数据进行了稳定的预训练，覆盖领域、语言（Qwen 模型在一系列基准数据集（）上优于类似模型大小的基线模型，这些数据集评估了模型在自然语言理解、数学方面的能力Qwen-72B 在所有任务上都比 LLaMA2-70B 取得了更好的性能，
Qwen72B-int4 服务器部署（服务器部署 和 web交互部署）
2203_76105805的博客
05-08 2557
我这里用的是算力云 选择的是两张4090 扩容是50G进入终端输入命令切换文件 cd autodl-tmpcurl -s https://packagecloud.io/install/repositories/github/git-lfs/script.deb.sh sudo apt-get update sudo apt-get install git-lfs1.pip install "transformers>=4.32.0" accelerate tiktoken einops scipy tra
通义千问Qwen-72B-Chat基于PAI的低代码微调部署实践
科技很有意思
01-11 1424
作者：熊兮、求伯、一耘。
通义千问 Qwen-72B-Chat在PAI-DSW的微调推理实践
2301_78285120的博客
12-16 3117
通义千问-72B（Qwen-72B）是阿里云研发的通义千问大模型系列的720亿参数规模模型。Qwen-72B的预训练数据类型多样、覆盖广泛，包括大量网络文本、专业书籍、代码等。Qwen-72B-Chat是在Qwen-72B的基础上，使用对齐机制打造的基于大语言模型的AI助手。阿里云人工智能平台PAI是面向开发者和企业的机器学习/深度学习平台，提供包含数据标注、模型构建、模型训练、模型部署、推理优化在内的AI开发全链路服务。
算法部署-使用TensorRT-LLM部署通义千问Qwen-7B大模型-附详细优化+分析流程教程-优质大模型部署项目实战.zip
03-06
算法部署_使用TensorRT-LLM部署通义千问Qwen-7B大模型_附详细优化+分析流程教程_优质大模型部署项目实战
Qwen-VL 远程GPU服务器部署实战
07-14
Qwen-VL 远程GPU服务器部署实战
Qwen-main.zip
02-21
【Qwen-main.zip】是一个压缩包文件，其中包含的资源很可能与一个名为“Qwen”的项目或软件有关。从文件名来看，“Qwen”可能是该项目的核心名称或主体部分。这个压缩包可能是为了方便用户下载、存储或传输Qwen的...
LLM - Qwen-72B LoRA 训练与推理实战
BITDDD小栈
02-05 5766
LLM Qwen-72B 简介与 LoRA 微调、推理。
每日一看大模型新闻（2023.12.05）阿里云开源「通义千问」系列模型 Qwen-72B ；不到1000行代码，PyTorch团队让Llama 7B提速10倍；大模型版“5年高考3年模拟”来了！
liuxiuxiu3的博客
01-25 820
物理学家对量子低密度奇偶校验(qLDPC)的纠错方案感到兴奋，IBM将专注于制造能够在400个左右的物理量子位中容纳几个经过qldpc校正的量子位的芯片，然后将这些芯片联网。乐聚CEO常琳表示，在语言建模方面，Mamba-3B模型在预训练和下游评估方面都优于同等大小的Transformer，并且其性能甚至可与两倍大小的Transformer相媲美。近日，卡内基梅隆大学（CMU）和普林斯顿大学的研究者提出了一种新的架构——Mamba（曼巴），用以解决Transformer在长序列上的计算效率低下问题。
【阿里YYDS】通义千问正式开源 Qwen2
weixin_41446370的博客
06-08 982
Qwen2–72B正式开源，性能全面超越开源模型Llama3-70B，也超过文心4.0、豆包pro、混元pro等众多中国闭源大模型。在过去一段时间里，Qwen系列模型从Qwen1.5升级到Qwen2，Qwen2分5个尺寸，包括Qwen2-0.5B、Qwen2-1.5B、Qwen2-7B、Qwen2-57B-A14B以及Qwen2-72B。此次开源的Qwen2是阿里云最强模型，目前已经在Hugging Face和ModelScope上同步开源信息，用户可下载使用。
大模型微调工具-torchtune
最新发布
weixin_40777649的博客
08-08 792
1.定义2.安装3. 案例。
【Sklearn学习】Sklearn的数据集介绍
一条咸鱼
08-07 673
sklearn数据集的介绍，方便后面学习使用的对应的数据集。
Qwen-Audio-Chat微调
05-10
Qwen-Audio-Chat微调是基于Qwen音频AI技术的一种应用场景，它可以通过微调Qwen模型，实现特定领域的音频智能交互。例如，将Qwen-Audio-Chat微调到医疗领域，可以实现医生与患者之间的智能语音交互，帮助医生快速准确地诊断病情。在微调Qwen模型时，我们可以根据具体的应用场景来调整模型结构、训练数据和超参数等，以达到更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值