LLM大模型中文开源数据集集锦（三）

已于 2023-05-17 23:53:11 修改
阅读量4k 收藏 19
点赞数 3
分类专栏： 付费-智能写作专栏 LLM大模型 文章标签： 开源 大模型 LLM GPT 微调
于 2023-05-16 23:56:08 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_26917383/article/details/130715742
版权
本文介绍了多个基于LLM的大规模中文数据集，包括ChatGLM-Med、LawGPT_zh、ChatHarryPotter、Lawyer LLaMA等，涉及医学、法律、文学等多个领域。数据集经过不同方式进行构建和微调，如ChatGLM的P-Tuning V2和LoRA权重调整。这些项目展示了如何利用LLM进行领域特定的知识增强和对话能力提升。
摘要由CSDN通过智能技术生成

文章目录

头两篇在写【悟乙己：LangChain:通过LLM实现QA问答中的一些细节笔记（二）】和【悟乙己：LangChain:万能的非结构化文档载入详解（一）】
然后笔者自己也测试了一把ChatGLM的P-Tuning V2在【悟乙己：ChatGLM的P-Tuning v2微调笔记】感觉
LangChain+ChatGLM这一套知识库的打法有几种：

  • LLM基础模型 + 知识库（向量化搜索）
  • LLM微调模型 + 知识库（向量化搜索）

其中，笔者自己测试下来，如果你的数据集符合微调的标准，最好就是走第二种路线，效果会好些，这里我们从几个开源项目入手，来了解一下：

  • 数据准备的经过
  • 训练效果与开源模型

了解本专栏 订阅专栏 解锁全文 超级会员免费看
悟乙己
关注
专栏目录
订阅专栏
开源中文大语言模型集合【2023-06-19】
u013250861的博客
06-20 1265
整理开源的中文大语言模型，以规模较小、可私有化部署、训练成本较低的模型为主，包括底座模型，垂直领域微调及应用，数据集与教程等。自ChatGPT为代表的大语言模型（Large Language Model, LLM）出现以后，由于其惊人的类通用人工智能（AGI）的能力，掀起了新一轮自然语言处理领域的研究和应用的浪潮。尤其是以ChatGLM、LLaMA等平民玩家都能跑起来的较小规模的LLM开源之后，业界涌现了非常多基于LLM的二次微调或应用的案例。
LLM-预训练-数据集：wiki中文数据集【使用wikiextractor 提取wiki数据】
u013250861的博客
07-21 1349
然后就开始提取wiki数据了，如果上述命令执行错误，应该是环境有问题，请检查环境，还有尽量使用ubuntu系统，否则可能出错哦。安装wikiextractor: pip install wikiextractor。我下载的是：zhwiki-latest-pages-articles.xml.bz2。
太强了！10​大开源大模型！
ytt0523_com的博客
05-13 2761
大型语言模型（LLMs）无疑是人工智能革命中的核心驱动力，它们建立在Transformer架构的稳固基石之上，并根据缩放定律不断演进。正是通过预先训练海量的文本数据，LLMs展现出了卓越的对话和任务处理能力，成为了现代人工智能领域的璀璨星辰。尽管如此，如今备受欢迎的巨型模型如ChatGPT和Bard，都建立在专有且闭源的基石之上，这无疑为它们的使用设立了重重障碍，导致技术信息的透明度变得模糊不清。
国内的大模型数据集仓库
最新发布
qq_34068440的博客
06-12 786
这些数据集大多都受到广泛的科研和商业应用，适合多种NLP及CV任务。国内的研究机构和公司在这些数据集的构建和维护上投入了大量资源，用户可以根据具体的研究需求选择适合的数据集进行模型训练和评估。
LLMs开源模型们和数据集简介
nakaizura
05-25 3333
本篇文章整理下目前常用的LLMs模型们和数据集简介。可以看到目前被广泛用来作为LLMs的backbone的模型有以下特点：- Backbone：基于某个开源backbone，如GLM、LLaMA、BLOOMZ（GPT-style）- Datasets：分为两类Instruction、Conversation- Tuning Strategies：分为两类SFT、RLHF- Optimization：开源项目参数规模一般都不是很大，Params 6/7B、13B
大语言模型常见任务及评测数据集汇总（一）：70 余个数据集!
zengzizi的博客
04-06 3011
1. 文本分类 1.1. 中文文本分类数据集： THUCNews：清华大学推出的中文新闻文本数据集，包含了74万篇新闻文章，覆盖了10个类别。 LCQMC：哈尔滨工业大学发布的数据集，主要用于中文句子匹配任务，也常用于文本分类。 BQ Corpus：同样用于中文句子匹配，也可用于文本分类。 1.2. 英文文本分类数据集： IMDb：包含50,000条影评数据，分为正面和负面两类，常用于情感分析。 20 Newsgroups：包含约20,000条新闻组文档，分为20个类别。
收藏丨30个大语言模型训练相关的数据集分享
OpenDataLab的博客
03-09 6078
更多数据集，请访问OpenDataLab官网
商业银行布局AI大模型的“三大路径”
银行信息系统应用架构导论
04-08 1018
随着人工智能技术的迅猛发展，AI创新应用模式持续涌现，2022年11月OpenAI推出的对话式通用人工智能工具ChatGPT正式上线，标志着人工智能技术的发展迈入了全新阶段。随着ChatGPT的蹿红，一时间，人工智能大模型技术迅速成为国内外关注的热点。从国外的谷歌、微软、英伟达，到国内的华为、阿里、百度、京东等大型企业，均在不遗余力布局AI大模型……AI大模型或将成为新一轮科技革命和产业革命的重要驱动力量，超级AI算力+大模型算法正在成为国家和产业战略核心竞争力。2023年以来，国内多家厂商发布通用大模型和
人工智能前沿——「全域全知全能」人类新宇宙ChatGPT
热门推荐
加勒比海带66——【YOLO魔法搭配&论文投稿咨询】
04-04 3万+
🚀🚀ChatGPT是生成型预训练变换模型的缩写，它是一种语言模型，可以执行非常复杂的任务，如回复问题、生成文章和程序代码，或者翻译文章内容等等。🔥🔥🔥
元学习在小样本学习中的原理与实践
AGI通用人工智能之禅
04-09 217
在机器学习领域,通常我们需要大量的训练数据才能训练出性能良好的模型。然而在很多实际应用场景中,获取大量高质量的标注数据是非常困难和昂贵的。例如医疗诊断、自然语言处理等领域,数据往往是稀缺和昂贵的。在这种情况下,如何利用有限的数据训练出性能优秀的模型就成为一个非常重要的问题。元学习(Meta-Learning)就是一种解决小样本学习问题的有效方法。它的核心思想是,通过学习如何学习,让模型能够快速地适应新的任务和数据分布。
元学习的迁移学习与终身学习
AGI通用人工智能之禅
04-09 268
当前人工智能和机器学习技术的飞速发展,使得机器在各个领域的表现已经超越了人类。但是,现有的机器学习算法大多依赖大量的训练数据,并且学习能力局限于特定的任务和领域,很难实现跨任务和跨领域的知识迁移。而人类学习则具有更强的灵活性和迁移能力,能够基于有限的经验快速学习和适应新的任务和环境。如何让机器也具备人类般的学习能力,是人工智能领域的一个重要研究方向。元学习(Meta-Learning)就是一种有望实现这一目标的新兴技术。
各类研究数据集合
06-30 2450
 转载  https://zhuanlan.zhihu.com/p/25138563 金融 美国劳工部统计局官方发布数据 沪深股票除权除息、配股增发全量数据，截止 2016.12.31 上证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，1260支股票 深证主板日线数据，截止 2017.05.05，原始价、前复权价、后复权价，466支股票 深证中小板
Re15：读论文 LEVEN: A Large-Scale Chinese Legal Event Detection Dataset
诸神缄默不语的博客
07-28 1506
论文阅读笔记：LEVEN: A Large-Scale Chinese Legal Event Detection Dataset
收藏丨20个中文语料数据集，含数学考试、公务员考题、医患对话等
OpenDataLab的博客
04-17 3766
Math23K 是为解决数学单词问题而创建的数据集，包含从互联网上爬取的 23,162 个中文问题。
【LLM数据篇】预训练数据集+指令生成sft数据集
发现问题，并解决问题，批判性思维
08-20 1万+
在《Aligning Large Language Models with Human: A Survey》综述中对LLM数据分类为典型的人工标注数据、self-instruct数据集等 优秀的开源sft数据集：alpaca_data、belle、千言数据集、firefly、moss-003-sft-data多轮对话数据集等 文章目录 note 构造指令实例的3种方式 sft：Aligning Large Language Models with Human: A Survey Alpaca 1. self
【LLM-backdoor论文】Instructions as Backdoors: Backdoor Vulnerabilities of Instruction Tuning for LLM
erquechengxuyuan的博客
11-04 353
指令微调模型是在众包数据集上使用任务说明进行训练，以实现更出色的性能。然而，在这项工作中，我们对这种训练范式提出了安全方面的担忧。我们的研究表明，攻击者可以通过在成千上万条收集到的数据中发布极少数恶意指令，并通过数据污染控制模型行为，而无需修改数据实例或标签本身就可以注入后门。通过这种指令攻击，攻击者可以在四个常用的自然语言处理数据集上实现超过90%的攻击成功率，并造成持久的后门，这些后门很容易转移到15个不同的数据集中而无需额外训练。
ACL'22 | 关系抽取和NER等论文分类整理
zenRRan的博客
04-25 2085
每天给你送来NLP技术干货！整理：对白的算法屋本文汇总了ACL2022信息抽取方向的论文，包括但不限于通用信息抽取、命名实体识别、关系抽取、事件抽取、事件关系抽取、基于事件的观点挖掘等。一、信息抽取Automatic Error Analysis for Document-level Information Extraction.Aliva Das, Xinya Du,...
【大模型】开源大模型汇总以及微调策略
桐原因的博客
06-10 7598
自从ChatGPT出世以来，各个大厂/研究院都纷纷推出自己的大模型，大模型领域发展一日千里。随着“百模大战”热度的降低，有必要梳理一下目前主流的大模型以及其变种模型，回顾一下。注：汇总开源模型。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值