语料库小结

已于 2022-03-31 16:58:45 修改
阅读量1.8k 收藏
点赞数 1
分类专栏： 其他 文章标签： linux hdfs hadoop
于 2019-09-30 18:02:07 首次发布
原文链接：https://blog.csdn.net/u010533386/article/details/51458591
版权

20220331

http://files.grouplens.org/datasets/movielens/
电影评分数据

https://blog.csdn.net/u010533386/article/details/51458591
停用词

https://mp.weixin.qq.com/s/QTdpGsjHqCutVJaTd_dxZg
大规模中文自然语言处理语料(百科，问答、新闻，翻译)

weixin_ry5219775
关注
专栏目录
计算语言学之语料库
刘炫320的博客
04-10 2456
0. 写在前面我们自然语言处理和语言学方面的不同就在于，我们来源于大量的语料库统计资料。之前所看到的的语言学方面的篇章分析，大多都是基于几十篇的文章得出的结果，并不是太有说服力，仅仅是高频统计。所以，我们这一张来介绍一下语料库。1. 语料库的来源1.1 语料库的定义语料库就是存放语言材料的数据库。做机器学习，最重要的是语料，有了大量的训练样本，才能够学习到更加真实的模型。1.2 语料库语言学的发展语
NLP预训练模型与语料库
AI天才研究院
08-02 933
1.1 引言：在自然语言处理任务中，有很多关于数据集、模型及词向量等重要环节。本文将结合自己的实际经验分享一些关于预训练模型与语料库的心得体会。随着深度学习的火热，基于神经网络的预训练模型越来越多，例如BERT、ALBERT、RoBERTa等。这些预训练模型对各种任务都有着很好的性能提升，但同时也带来了新的问题——模型太大。为了更好地解决这一问题，研究人员们又研究出更小的预训练模型，如DistilBERT、TinyBERT等。这些模型的大小仍然小于BERT和ALBERT，但精度却有明显优势。
英文语料库整理
异ﾘ度ｭ空ｳ間（镜像站）
06-15 4564
Reuters-21578   语料下载 Reuters-21578中文说明 Reuters-21578 语料库SGML转txt脚本（Python） Reuters-21578 语料库SGML转txt脚本（ruby）   常用英文语料库下载 本语料库由University of California整理，里面包含20newsgroups，reuters21
英文语料库
weixin_30762087的博客
10-12 159
本语料库由University of California整理，里面包含20newsgroups，reuters21578，census1990等大量经典语料http://kdd.ics.uci.edu/databases/ 转载于:https://www.cnblogs.com/banbana88/archive/2012/10/12/2721492.html...
【新手福利】语料库概述
最新发布
2403_86762465的博客
08-27 220
语料库（Corpus）是指经过精心收集和整理的大规模文本集合，用于语言学研究、自然语言处理（NLP）和其他相关领域。语料库可以包含书面文本、口语记录、网络文本等多种类型的文本数据。语料库是语言研究和自然语言处理中的重要资源，可以用来训练机器学习模型、进行语言统计分析、开发自然语言处理应用等。
语料库
u012474716的博客
08-19 911
https://github.com/brightmart/nlp_chinese_corpus
英语语料库LOB语料库
10-10
LOB语料库 创建时间: 1970年代初 创建单位:英国Lancaster大学和挪威Oslo大学以及Bergen大学 规模层级: 100万词次 基本情况:研究当代英国英语,与美国英语对比,使用了TAGIT系统,以统计方式建立换算几率矩阵,提高标注正确率。 The Lancaster-Oslo Bergen Corpus (LOB) was compiled by researchers in Lancaster, Oslo and Bergen. It consists of one million words of British En glish texts from 1961. The texts for the corpus were sampled from 15 different text categories. Each text is just over 2.000 words long (longer texts have b een cut at the first sentence boundary after 2.000 words) and the number of texts in each category varies (see table below). Further information about the t exts can be found in the LOB manual (external link). This corpus is the British counterpart of the Brown Corpus of American English. which contains texts printed in the same year so that comparison bet ween both varieties could be made
英文词性标注语料库
08-02
英文分词语料库，共有198796行，每个单词都有词性标注，对句话的结束都有句号，便于处理。覆盖大部分主流行业的语料。 例如： Newsweek/NNP ,/, trying/VBG to/TO keep/VB pace/NN with/IN rival/JJ Time/NNP magazine/NN ,/, announced/VBD new/JJ advertising/NN rates/NNS for/IN 1990/CD and/CC said/VBD it/PRP will/MD introduce/VB a/DT new/JJ incentive/NN plan/NN for/IN advertisers/NNS ./.
国内可外用免费语料库下载资源汇总, 语言翻译必备：国内外23个语料库推荐
热门推荐
weixin_33920401的博客
09-04 1万+
国内可外用免费语料库下载资源汇总   (一) 国家语委1.国家语委现代汉语语料库http://www.cncorpus.org/现代汉语通用平衡语料库现在重新开放网络查询了。重开后的在线检索速度更快，功能更强，同时提供检索结果下载。现代汉语语料库在线提供免费检索的语料约2000万字，为分词和词性标注语料。 2.古代汉语语料库http://www.cncorpus.org/login.aspx网站...
基于python的语料库数据处理电子版_[异步图书].精通Python自然语言处理[PDF][16.04MB]...
weixin_39854326的博客
11-24 433
内容简介自然语言处理是计算语言学和人工智能之中与人机交互相关的领域之一。 本书是学习自然语言处理的一本综合学习指南，介绍了如何用Python实现各种NLP任务，以帮助读者创建基于真实生活应用的项目。全书共10章，分别涉及字符串操作、统计语言建模、形态学、词性标注、语法解析、语义分析、情感分析、信息检索、语篇分析和NLP系统评估等主题。 本书适合熟悉Python语言并对自然语言处理开发有一定了解和兴...
"阿拉伯语语料库 arTenTen：2012年收集的沙特国王大学学报开放使用
da联合王国牛津阿拉伯语词典主编b美国麻省理工学院阿拉伯联合酋长国dLexical Computing Ltd，英国e马萨里克大学，捷克共和国2014年10月7日在线发布摘要我们提出了arTenTen，一个网络抓取的阿拉伯语语料库，收集在
搜狗语料库搜狗语料库
11-12
搜狗语料库，经验证非常好用。欢迎下载。搜狗语料库，经验证非常好用。欢迎下载。搜狗语料库，经验证非常好用。欢迎下载。
文本分类中文语料库
05-17
这是一个文本分类的语料库，主要是用于文本分类，主旨句提取，关键词提取等等应用。
中文歌词语料（JOSN格式）
02-22
文件为JSON格式数据，很容易解析，包括歌词、歌名、歌手等信息，包括各种风格的歌曲，大约1万8千首左右（未去重）。可以用作歌词生成模型训练、中文歌词向量模型训练等。
知名中文语料库
大明王
03-04 1247
知名中文语料库： 中央研究院近代汉语标记语料 http://www.sinica.edu.tw/Early_Mandarin/ (台湾的繁体，在NLTK中有) 2.中央研究院汉籍电子文献 http://www.sinica.edu.tw/ftms-bin/ftmsw3 国家现代汉语语料库 http://124.207.106.21:8080/ 这个没搜索到 4.国家语委现代汉语语料库 ht...
python生成json文件_从不同的JSON文件创建语料库
weixin_39596835的博客
11-25 117
date2015-12-31TheInstituteofDirectors(IoD)has added its...2015-12-31Itisstartling to see how much theHolyroodl...2015-12-31A hikeininterest ratesinthe new year will...2015-12-31TheFirstMinisterhas res...
基于特定语料库的TF-IDF关键词提取实现
weixin_33712987的博客
08-08 2074
2019独角兽企业重金招聘Python工程师标准>>> ...
深度学习核心技术精讲100篇（十七）-多标准中文分词（ Multi-Criteria-CWS）
wenyusuran的专栏
05-08 1254
1.1 背景 本文介绍一种简洁优雅的多标准中文分词方案，可联合多个不同标准的语料库训练单个模型，同时输出多标准的分词结果。通过不同语料库之间的迁移学习提升模型的性能，在10个语料库上的联合试验结果优于绝大部分单独训练的模型。模型参数和超参数全部共享，复杂度不随语料库种类增长。 论文：https://arxiv.org/pdf/1712.02856.pdf ； 代码和语料：https://g...
压缩包子语料库分词及权重计算技巧
资源摘要信息: 该文件是一份关于自然语言处理中的“语料库”操作指导。它涉及到了自然语言处理的基本概念，如“语料”和“分词”，同时也提到了计算权重这一过程。这个过程主要应用于计算机程序中，目的是对收集的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值