五大中文大模型数据集与能力深度解析：DeepSeek、Qwen、腾讯元宝、文心一言、Kimi)

最新推荐文章于 2025-04-23 13:41:41 发布
最新推荐文章于 2025-04-23 13:41:41 发布
阅读量1.7k 收藏 24
点赞数 21
分类专栏： 大模型 LLM 文章标签： 文心一言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ggbooo/article/details/146206688
版权

五大中文大模型数据集与能力深度解析：DeepSeek、Qwen、腾讯元宝、文心一言、Kimi

如整理有误，欢迎及时指正！

1. DeepSeek（深度求索）

1.1 数据集构成

  • ​核心数据源：

    • ​数学与代码​（占比40%）：
      • ​ProofPile：包含数学定理证明、奥赛试题的解题过程（LaTeX格式）
      • ​GitHub精选：过滤Star>100的代码仓库，保留Python/Java/C++代码
    • ​通用文本​（35%）：
      • 中文维基百科（2023更新版）+ 英文Books3语料库
      • 科技论文（arXiv中计算机、数学领域论文）
    • ​领域数据​（25%）：
      • 法律文书（裁判文书网公开判决书）
      • 金融报告（A股/港股上市公司年报）

  • ​数据量级：

    • 总规模：8万亿Token（DeepSeek-R1版本）
    • 代码数据：1.2万亿Token（Python占比60%）

1.2 处理技术

  • ​去重策略：
    • 基于MinHash的文档级去重（相似度>95%的文本丢弃）
    • 代码数据使用AST（抽象语法树）去重
  • ​质量过滤：
    • 数学数据保留完整解题步骤（删除仅含答案的样本）
    • 使用规则引擎过滤低质量代码（如注释率<10%的文件）

2. Qwen（通义千问，阿里云）

2.1 数据集构成

  • ​核心数据源：

    • ​多语言混合​（中文70%、英文20%、其他10%）：
      • 中文：人民日报语料、网络小说、古汉语文献（四库全书精选）
      • 小语种：日韩语新闻、东南亚电商评论（Lazada/Shopee爬取）
    • ​对话数据​（15%）：
      • 人工构造的指令-回答对（涵盖客服、教育场景）
      • 社交媒体对话（微博、知乎问答去敏处理）
    • ​代码数据​（10%）：
      • GitHub热门仓库（Apache License 2.0协议项目）

  • ​数据量级：

    • 总规模：3万亿Token（Qwen-7B版本）
    • 多模态数据：5亿图文对（来自电商平台商品描述）

2.2 处理技术

  • ​对齐优化：
    • 代码数据格式统一（转换为函数级代码块+注释）
    • 古文数据添加现代汉语翻译对照
  • ​安全过滤：
    • 政治敏感词黑名单（覆盖2000+敏感实体）
    • 使用BERT-NSFW模型过滤色情暴力内容

3. 腾讯元宝（Tencent Yuanbao）

3.1 数据集构成

  • ​核心数据源：

    • ​社交数据​（50%）：
      • 微信/QQ群聊记录（匿名化处理，去除个人ID）
      • 公众号文章（财经、游戏、生活类垂直领域）
    • ​多模态数据​（30%）：
      • 腾讯视频弹幕+字幕（覆盖影视、综艺、体育）
      • 全民K歌用户录音（语音转文本，标注情感标签）
    • ​金融数据​（20%）：
      • 沪深股市公告（2010-2023年结构化数据）
      • 基金研报（中信证券、中金公司等机构报告）

  • ​数据量级：

    • 总规模：预估2.5万亿Token（非公开披露）
    • 音视频数据：1000万小时语音+500万条短视频

3.2 处理技术

  • ​隐私保护：
    • 使用正则表达式替换手机号/银行卡号（如138****5678）
    • 语音数据声纹脱敏（保留文本内容，丢弃音色特征）
  • ​领域增强：
    • 游戏术语标准化（如“打野”→《英雄联盟》术语库映射）
    • 构建金融实体知识库（股票代码→公司名称对照表）

4. 文心一言（ERNIE Bot，百度）

4.1 数据集构成

  • ​核心数据源：

    • ​搜索增强数据​（40%）：
      • 百度搜索日志（高频Query+点击网页摘要）
      • 知道/贴吧优质问答（采纳数>100的答案）
    • ​知识图谱​（30%）：
      • 百度百科（560万实体）+ 企业图谱（天眼查合作数据）
      • 医疗知识库（涵盖疾病、药品、诊疗方案）
    • ​多模态数据​（20%）：
      • 百度地图POI描述（1亿地点图文信息）
      • 好看视频字幕（覆盖科普、生活技巧类内容）

  • ​数据量级：

    • 总规模：10万亿Token（ERNIE 4.0版本）
    • 知识三元组：100亿级（实体-关系-属性）

4.2 处理技术

  • ​知识注入：
    • 将百科实体与文本共现关系嵌入训练（如“故宫→北京”）
    • 医疗数据经三甲医院专家审核（标注可信度等级）
  • ​时效性更新：
    • 每日增量更新搜索热点（如新上市股票代码）
    • 使用时间衰减模型（2020年前数据权重降低）

5. Kimi（月之暗面）

5.1 数据集构成

  • ​核心数据源：

    • ​长文本数据​（60%）：
      • 中文网络小说（起点中文网百万字连载作品）
      • 学术论文（CNKI中国知网CS领域PDF解析）
      • 法律文书（10万份判决书，平均长度1.5万字）
    • ​结构化数据​（25%）：
      • 上市公司财报（表格数据转Markdown格式）
      • GitHub项目文档（README.md+API说明）
    • ​对话数据​（15%）：
      • 模拟技术问答（Stack Overflow问题+人工扩展回答）

  • ​数据量级：

    • 总规模：1.8万亿Token（Kimi-7B版本）
    • 单文档最长：200万字符（《红楼梦》全本+注释）

5.2 处理技术

  • ​长文本优化：
    • 分段训练策略（每4k Token设注意力缓存节点）
    • 使用RoPE位置编码扩展至200k上下文
  • ​表格处理：
    • 财报数据行列对齐（合并跨页表格的重复表头）
    • 使用正则抽取HTML表格转为Markdown

6. 关键指标对比表

特性DeepSeekQwen腾讯元宝文心一言Kimi
​代码能力⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
​数学能力⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐
​多模态支持文本图文​图文/音视频图文文本
​上下文长度32k+8k-32k4k-16k4k-16k​200k+
​中文特色优势代码解题古文翻译网络热梗实时搜索长文档解析
​行业落地案例量化金融跨境电商微信生态营销智能交通法律文书分析

7. 开发者选型指南

  • ​数据透明度：Qwen > DeepSeek > 文心一言 > Kimi > 腾讯元宝
  • ​领域适配性：
    • 金融量化：​DeepSeek​（财报分析代码生成）
    • 医疗问答：​文心一言​（百度健康知识库支持）
    • 多语言客服：​Qwen​（支持东南亚小语种）
    • 游戏NPC对话：​腾讯元宝​（社交语料+情绪识别）
    • 合同审查：​Kimi​（长文本条款比对）
Qwen2.5-Max 模型实测：阿里最强“非推理”大模型，能力如何？
Code_流苏：在代码中寻诗意，在实践中觅真知
04-11 1039
Qwen2.5-Max 模型实测：阿里最强“非推理”大模型，能力如何？一起来看看吧！
2025 AI 大模型江湖争霸：谁能称霸未来？
AI安全这点事的博客
03-26 822
近年来，AIGC（人工智能生成内容）领域迎来了爆炸式发展。无论是文字、图片、音频还是视频，大模型的能力正在迅速提升。尤其是 2024 年 9 月 OpenAI 推出的 O 系列推理模型，更是引领了行业进入文理分科时代。那么，在 2025 年，国内外有哪些值得关注的大模型？它们的应用领域如何？本文将为你全面解析。
一文搞懂通义千问(Qwen)相关的核心概念
Code1994的博客
11-06 1万+
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
qwen2.5-max 和deepseek 比较
百态老人的博客
01-30 2229
是两个不同团队开发的大语言模型，各有其技术特点和适用场景。是垂直领域模型，技术类任务更专业。建议根据具体场景测试后再做选择。是通用型多模态模型，中文生态完善；
本机部署大语言模型：Ollama和OpenWebUI实现各大模型的人工智能自由
星哥玩云
05-14 8752
可以看到，系统正在下载qwen的模型（并保存在C盘，C:\Users.ollama\models 如果想更改默认路径，可以通过设置OLLAMA_MODELS进行修改，然后重启终端，重启ollama服务。本篇文章介绍在window系统下，安装Ollama并且安装gemma（谷歌大模型）、llama2（脸书大模型）、qwen（阿里大模型）等大模型的教程，实现类似免费ChatGPT的web界面。例如支持gemma（谷歌大模型）、llama2（脸书大模型）、qwen（阿里大模型）等70+主流大模型，还在不断增加。
Qwen大模型简介
热门推荐
qq_44117805的博客
10-06 1万+
Qwen是由阿里巴巴集团达摩院开发的一个开源大语言模型系列。该系列模型专注于多任务场景下的自然语言处理（NLP），并提供了优秀的多模态扩展能力。Qwen模型家族包括多个版本，如等，分别适用于不同的计算资源和应用场景。启元系列不仅有纯文本语言模型，还包括支持图像、文本、对话等多模态输入的模型。
50万闲聊数据，闲聊库
11-14
数据包含小黄鸡闲聊数据，和自己整理的闲聊数据，闲聊问答数据等，如需要其他数据请联系我
[AI资讯·0612] AI测试高考物理题，最高准确率100%，OpenAI与苹果合作，将ChatGPT融入系统中，大模型在物理领域应用潜力显现
老牛啊
06-12 1903
高考多地结束，端午佳节，各类科目答案网上流传。AI测试物理题，最高准确率100%，涉及矢量标量概念。多选题部分，海螺AI表现最佳。AppleIntelligence功能发布，支持图片AI消除、系统录音通话录音等。用户无需注册即可体验ChatGPT-4，适用于搭载特定芯片的设备。AppleIntelligence强调隐私保护和智能体验升级。iOS18、iPadOS18、macOSSequoia等新操作系统集成AI功能。OpenAI与苹果合作，将ChatGPT融入系统中。大模型在物理领域应用潜力显现。
AI大模型企业应用实战：Prompt让LLM理解知识
2401_84204413的博客
06-25 2608
• 能够完成时下热门大模型垂直领域模型训练能力，提高程序员的编码能力： 大模型应用开发需要掌握机器学习算法、深度学习框架等技术，这些技术的掌握可以提高程序员的编码能力和分析能力，让程序员更加熟练地编写高质量的代码。• 基于大模型和企业数据AI应用开发，实现大模型理论、掌握GPU算力、硬件、LangChain开发框架和项目实战技能， 学会Fine-tuning垂直训练大模型（数据准备、数据蒸馏、大模型部署）一站式掌握；第五阶段： 大模型微调开发借助以大健康、新零售、新媒体领域构建适合当前领域大模型；
Qwen2 系列大型语言模型
m0_53291740的博客
11-12 661
开发者：阿里巴巴集团。训练数据语言：包含英语、中文等 29 种语言。
探索智能前沿：遇见通义千问——Qwen开源项目深度解读
gitblog_00024的博客
06-02 409
探索智能前沿：遇见通义千问——Qwen开源项目深度解读 去发现同类优质开源项目:https://gitcode.com/ 随着人工智能领域的飞速发展，大型语言模型已成为研究的热点。今天，我们要向大家隆重介绍一个极具潜力的开源项目——【Qwen】，它以强大的对话能力、广泛的应用场景和卓越的技术特性，正逐渐成为这一领域的明星。 项目介绍 Qwen，意为“通义千问”，是阿里云团队匠心打造的一系列开源语言...
Qwen系列大模型学习笔记
2301_79287346的博客
03-09 1301
Qwen（通义千问）是阿里巴巴推出的一系列开源大语言模型，涵盖多个参数规模，包括 7B、14B、72B 等。Qwen 具有强大的中英文理解能力，尤其在代码生成、推理、文本总结等任务上表现优秀。相比其他大模型，Qwen 在开源生态中占据重要地位，支持 Hugging Face 以及本地部署。# 加载 PDF# 加载 Qwen 模型# 生成摘要inputs = tokenizer("总结以下内容：" + text, return_tensors="pt")进一步优化。
ChatGLM、DeepSeek、Qwen、Llama 模型对比
学亮编程手记
02-26 1681
ChatGLM：中英双语对话与低显存部署的标杆，适合轻量级应用。DeepSeek：高效推理与多任务处理的技术突破者，适合企业级复杂场景。Qwen：中文长文本与垂直领域任务的优化专家。Llama：英文通用场景的经典选择，学术研究友好。
可以在个人电脑上部署的主流开源大模型
搏博的专栏
02-06 1155
这些模型在图像生成领域具有广泛的应用前景，且相对较轻量，因此有可能在个人电脑上进行部署，但具体还需考虑硬件资源和优化技术。模型基于注意力机制，通过海量语料数据进行预训练，并经过监督微调、人类反馈的强化学习等进行对齐，构建形成深度神经网络，并增加审核、过滤等安全机制，使算法模型部署后能够根据人类的指令或者提示，实现语义分析、计算推理、问答对话、篇章生成、代码编写等任务。其中，LLaMA-65B和LLaMA-33B是在1.4万亿个token上训练的，而最小的模型LLaMA-7B是在1万亿个token上训练的。
测评qwen 、glm ,deepseek的模型 对垂直领域的能力的支持情况对比
weixin_47958619的博客
10-20 8585
对于Deepseek模型的输出结果来看，实际上当时选择的模型coder类型，侧重编码，在相同的提示词的情况下，输出直接输出的就是命令的的排查方法，但是确实思路的分析，首先进行了排除对于GLM和qwen的回答，对保存告警的排查思路和命令行的输出都有着不错的效果，在参考模型参数的大小，对于glm4:9b 占用 5.5 GB硬盘资源，是90亿参数的模型，qwen2.5:latest 占硬盘 4.7 GB ,是70亿参数的模型，最终选择qwen2.5:latest 作为我们项目的最终基座模型。
DeepSeek真的这么厉害吗？实测对比OpenAI最新发布o3-mini，以及Kimi、Qwen2.5
2401_85373691的博客
02-04 3014
通过上述测试，可以看出DeepSeek R1和OpenAI o3-mini所谓推理模型的特点和厉害之处，主要在于模型自行分析和反思，类似人一样思考，对人使用来说更加方便，减少绞尽脑汁花在思考提示词上的功夫，也说明模型越来越智能。同时，对大模型应用，例如agent开发也是直接的好处，因为agent主要就使用大模型的推理能力。对比测试中Kimi使用默认的通用模型，未使用其更擅长复杂任务推理的k1.5模型。
阿里Qwen系列开源模型介绍
东南草堂
11-23 1935
Qwen2-72b-instruct模型在安全性方面与GPT-4的表现相当，并且显著优于Mixtral-8x22b模型，在处理多语言不安全查询时，能够有效降低生成有害响应的比例。百川2也通过了多项安全评估，显示其安全性优于其他一些开源语言模型.
2.2 主流大模型架构：GPT、DeepSeek、GLM、Claude、QwQ、Qwen2.5-Max等模型的比较与应用场景
最新发布
keyboard专栏
04-23 1599
OpenAI的GPT系列、DeepSeek的R1和R2、清华大学GLM、Anthropic的Claude、阿里巴巴的QwQ以及Qwen2.5-Max代表了当前大模型技术的顶尖水平。GPT-4o在多模态和通用任务中领先，DeepSeek和QwQ在STEM应用中占优，GLM-4和Qwen2.5-Max在中文和多语言场景中表现出色，Claude则以安全性和长上下文能力著称。最新版本包括GPT-3.5、GPT-4、GPT-4o和GPT-4.5（截至2025年4月），在GPT-3基础上进一步扩展了规模和功能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值