book corpus

最新推荐文章于 2024-09-14 16:45:42 发布
最新推荐文章于 2024-09-14 16:45:42 发布
阅读量296 收藏
点赞数
原文链接：http://www.cnblogs.com/liyongguo/p/7137788.html
版权

http://www.gutenberg.org/ebooks/search/?sort_order=downloads

 

http://www.mugs.coffee/coffee-mug-knowledge/most-expensive-coffee-mug/

 

flash cards  http://www.cram.com/flashcards/urban-6514146

转载于:https://www.cnblogs.com/liyongguo/p/7137788.html

大模型常用的预训练数据集
weixin_43961909的博客
05-03 3471
此外，该数据集针对不同需求，发布了多个子版本：en（英文数据，806G），en.noclean（未清洗的原始数据，6T），realnewslike（仅包含 Real News 涉及的领域的内容，36G），webtextlike（仅包含来自 Open WebText 中URLs 的内容，17G）和 multilingual （多语言数据，38T）。值得注意的是，该数据集内部充斥着大量的噪声和低质量数据，在使用前必须进行有效的数据清洗，以确保数据质量和准确性，常用的自动清洗工具有 CCNet 等。
bookcorpus：抓取BookCorpus
02-03
自制书Corpus @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@ @@@@@@@ 由于网站的某些问题，抓取可能会很困难。 另外，请考虑其他选择，例如使用公开可用的文件，后果自负。 例如， ：于2020年9月进行了爬网，每本书分别存储为文本文件。 看起来不错！ 谢谢 ！ ：尽管它可能与原始的BookCorpus类似，但所有书籍似乎都是串联在一起的。 而且，我不知道细节。 请查看有关数据集的或咨询发行人。 ：这在内部访问了文件（由Igor访问），但在某些情况下易于使用。 @@@@@@@@@@@@@@@@@@@@@@@
BookCorpus数据集爬虫
weixin_42631192的博客
09-18 3099
BookCorpus是一种流行的大型文本语料库，特别适用于句子编码器/解码器的无监督学习。但是，BookCorpus不再分发… 此存储库包含一个从smashwords.com收集数据的爬虫，这是BookCorpus的原始来源。收集的句子可能会有所不同，但它们的数量会更大或几乎相同。如果您在工作中使用新语料库，请指定它是副本。 源码：BookCorpus ...
探索书籍宝藏：soskek/bookcorpus 项目深度解析
gitblog_00058的博客
04-12 578
探索书籍宝藏：soskek/bookcorpus 项目深度解析 去发现同类优质开源项目:https://gitcode.com/ 在这个数字时代，数据是新的石油，而文本数据更是其中的瑰宝。 是一个开放源代码项目，它提供了丰富的书籍文本数据集，对于自然语言处理（NLP）和机器学习爱好者来说，这是一片未经开采的知识金矿。 项目简介 soskek/bookcorpus 是由开发者 soskek 创建的一...
GPT学习笔记
DeerEyre的博客
12-28 457
GPT1/2/3论文解读
【NLP】好资源！近 20 万本 txt 书籍的语料库，可用于 GPT 模型训练和语义分析...
fengdu78的博客
07-08 3467
由于缺少规范化的数据集，训练一个像OpenAI一样的GPT模型通常很难。现在有了，它就是BookCorpus的"books3"数据集，一个包含196,640本书的txt数据...
corpus-ccmh:来自Corpus Cyrillo-Methodianum Helsingiense的Codex Marianus的更新版本
05-03
BOOK 福音的名称（“ MATT”，“ MARK”，“ LUKE”，“ JOHN”） 1个 CHAPTER 章章 2个 VERSE 诗句编号 3 LINE 行号（见下文） 4 TEXT 文字本身 继承了以下特性： 在每本福音书的开头（马太福音除外，但...
UER-py快速上手
baidu_39450582的博客
04-10 1413
快速上手UER模型及数据集书评语料 模型及数据集 我们首先使用BERT模型和豆瓣书评分类数据集。我们在书评语料上对模型进行预训练，然后在书评分类数据集上对其进行微调。这个过程有三个输入文件：书评语料，书评分类数据集和中文词典。 模型链接：UER-py 书评语料 书评语料是由书评分类数据集去掉标签得到的。我们将一条评论从中间分开，从而形成一个两句话的文档，具体可见corpora文件夹中的book_review_bert.txt 分类数据集的格式如下： 词典文件的格式是一行一个单词，我们使用谷歌提供的包含2
NLTK的使用
Strangemmm的博客
01-26 687
from nltk.book import * #使用nlp工具包 text1.concordance(“monstrous”) #搜索文本，看到词的上下文 text1.similar(“monstrous”)#搜索词的上下文，查找还有哪些词出现在相似的上下文中，以此判断该词在文中的意思 函数common_contexts允许我们研究两个或两个以上的词共同的上下文，如monstrous和very。我们必须用方括号和圆括号把这些词括起来，中间用逗号分割。 text2.common_contexts([“
python之获得文本语料和词汇资源（3）
weixin_47237915的博客
03-23 425
一级目录 二级目录 三级目录 2.2条件频率分布 条件频率分布是频率分布的集合，每个频率分布有一个不同的条件。这个条件通常是文本的类别。当预料分为几类时，可以计算每个类别独立的领率分布。就可以研究类别之间的系统性差异。 2.2.1按照文本计数词汇 import nltk from nltk.corpus import brown cfd = nltk.ConditionalFreqDist( (genre,word) for genre in brown.categories() f
大语言模型开源数据集
产品老A，6年互联网大厂AIPM，专注探索新型人机交互
04-09 3087
本文目标：汇聚目前大语言模型预训练、微调、RM/RL、评测等全流程所需的常见数据集，方便大家使用，本文持续更新。文章较长，建议收藏后使用。
大语言模型训练数据集
qq_35827483的博客
12-31 1300
网址: [https://www.ted.com/participate/translate/get-started](https://www.ted.com/participate/translate/get-started)- 网址: [https://nlp.stanford.edu/projects/snli/](https://nlp.stanford.edu/projects/snli/)- 介绍: TED演讲的数据集不仅包括视频内容的字幕文本，还包含了许多语言的翻译版本。
大语言模型数据集（二）
babyzbb636的博客
10-19 1619
该数据集用于训练和评估用于检测机器释义文本的模型。训练集包含从 8,024 篇维基百科（英文）文章（4,012 篇原文，4,012 篇使用 SpinBot API 释义）中提取的 200,767 段（98,282 篇原文，102,485 篇释义）。测试集分为 3 个子集：一个来自 arXiv 研究论文的预印本，一个来自毕业论文，另一个来自 Wikipedia 文章。此外，还使用了不同的 Marchine-paraphrasing 方法。
我整理的面向大模型的高质量语料集！
fuyipingwml1976124的博客
06-17 2718
自己一直在做企业内部的垂类大模型，但随着运营深入，发现光有企业内部的领域数据还不足以微调出一个健壮的领域大模型，因为泛化能力比较弱。在领域数据中融入公共数据进行训练是公认的提升领域大模型泛化能力的方法，下面是我整理的面向大模型的六大类高质量语料集，共涉及20多个网上公开数据集（附有网址），希望对你有所帮助。一、文本数据集1、维基百科简介：免费的多语言协作在线百科全书，内容覆盖广泛，由志愿者社区编写...
技术科普与解读：ChatGPT 大模型硬核解读！（一）家族历史从GPT-1到ChatGPT
06-15 3140
多模态，指的是融合文本、图像、视频或音频等多种模态作为输入或输出。GPT-4是严格意义上的多模态模型，可以支持图像和文字两类信息的同时输入，输出为文本。从学术界的分析来看，无论是知识/能力获取还是与现实物理世界的交互，多模态感知都是实现通用人工智能的必要条件。没有多模态，AI 大概难以充分“理解”这个世界。之前的ChatGPT或GPT-3.5就像AI蒙上双眼在那里“盲答”，而到了多模态的 GPT-...
【大模型专栏—进阶篇】语言模型创新大总结——“三派纷争”
最新发布
文艺倾年的博客
09-14 2011
大模型专栏介绍😊你好，我是小航，一个正在变秃、变强的文艺倾年。🔔本文为大模型专栏子篇，大模型专栏将持续更新，主要讲解大模型从入门到实战打怪升级。如有兴趣，欢迎您的阅读。💡适合人群：本科生、研究生、大模型爱好者，期待与你一同探索、学习、进步，一起卷起来叭！🔗🔗🔗。
T5：Exploring the Limits of Transfer Learning with a UnifiedText-to-Text Transformer
@
09-07 4032
跟BERT一样，T5也是Google出品的预训练模型，来自论文为 Exploring the Limits of Transfer Learning with a Unified Text-to-Text Transformer，代码已开源。T5的理念就是“万事皆可Seq2Seq”，它使用了标准的Encoder-Decoder模型，并且构建了无监督/有监督的文本生成预训练任务
NLP发展关键模型：BERT，GPT
林宋的搬砖流水账
02-07 1008
基于深度学习的nlp发展进程
ChatGPT和代码智能
qq_38732601的博客
12-06 8377
ChatGPT 深入浅出，前世今生
nlp corpus
10-17
4. COCA（Corpus of Contemporary American English）：https://www.english-corpora.org/coca/ 5. Wikipedia Corpus：https://dumps.wikimedia.org/ 还有很多其他的语料库，您可以根据自己的需求进行选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值
>