智源研究院开源中文互联网语料库CCI3.0，1000GB数据集，498GB高质量子集，魔搭社区可下载！

小马不会过河

于 2024-10-07 20:09:08 发布

阅读量553

点赞数 22

文章标签：开源 langchain 学习语言模型回归网络

本文链接：https://blog.csdn.net/m0_59163425/article/details/142745523

版权

近日，在由中央网信办指导，北京市委网信办、北京市经济和信息化局、北京市新闻出版局、北京市版权局承办的2024北京文化论坛“新兴业态与技术融合”平行论坛上，智源研究院正式发布中文互联网语料库CCI 3.0(Chinese Corpora Internet，简称 CCI)，包括1000GB的数据集以及498GB的高质量子集CCI3.0-HQ。智源研究院于2023年11月首次开源CCI 1.0，并在2024年4月发布CCI 2.0。目前，CCI系列数据集下载量已超过4万次，服务500多个企事业单位的大模型研发，助力高质量中文语料和训练数据建设，支撑中国人工智能产业生态发展。

CCI 3.0下载地址

Flopsera：

http://open.flopsera.com/flopsera-open/data-details/BAAI-CCI3

ModelScope：

https://www.modelscope.cn/datasets/BAAI/CCI3-Data

Datahub：

https://data.baai.ac.cn/details/BAAI-CCI3

规模扩大，来源广泛

CCI 3.0收录超过2.68亿个网页，涵盖新闻、社交媒体、博客等多个领域。CCI 3.0的数据规模相较于CCI 2.0扩大近一倍，数据来源机构扩展至20多家，显著提升数据覆盖面和代表性。

精细标注，赋能应用

CCI 3.0对原始数据进行了覆盖语法、句法、教育程度等10多个维度的细粒度分类和详细标记，以筛选高价值数据，为企业定制个性化训练数据提供可能性。此外，CCI 3.0 HQ是基于70B模型自动标注样本，然后训练小尺寸质量模型进行优中选优得到的高质量子集，可更好地满足不同行业和应用场景的需求。

效果显著，更懂中文

同一500M模型基于不同的数据集从零开始训练100B数据对比实验表明，CCI 3.0在单独中文语料训练和中英文语料混合训练的效果上优于其他数据集，而CCI 3.0 HQ的效果更加突出。

模型训练效果对比

未来，智源研究院将继续携手行业生态推动语料库共建共享，构建大规模高质量高知识密度的中文数据集，为中国人工智能产业发展做出贡献。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

在这里插入图片描述