nlp中文常用词整理

最新推荐文章于 2024-05-21 12:54:10 发布
最新推荐文章于 2024-05-21 12:54:10 发布
阅读量1.4k 收藏
点赞数 1
分类专栏： 深度学习 nlp 文章标签： 自然语言处理 人工智能 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/coolerzZ/article/details/120946825
版权

大概300多万，词典结构为：词语\t词性\t词频。

链接: 点我 密码: 11km

coolerzZ
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
70+个NLP语料库数据集
02-08 5702
NLP相关数据集整理
常用中文停用词词表大全——3732个词
10-10
整理的常用的停用词词表，此词表包含各种特殊字符、英文乱码、无用数字
NLP算法相关各行业中文词库.zip
12-15
NLP分析必备词库之一，可以看看，各种行业的词库都有
自然语言处理数据集（NLP）-40万汉语大词库.rar
11-16
自然语言处理数据集（NLP）——40万汉语大词库.rar
传神社区|数据集合集第1期|中文NLP数据集合集
最新发布
OpenCSG的博客
05-21 809
传神社区|数据集合集第1期|中文NLP数据集合集
自然语言处理NLP之中文分词和词性标注
weixin_52610848的博客
11-22 3369
文章目录一、Python第三方库jieba（中文分词、词性标注）特点二、jieba中文分词的安装关键词抽取基于TF-IDF算法TF-IDF原理介绍基于TextRank算法的关键词抽取textRank算法原理介绍总结 一、Python第三方库jieba（中文分词、词性标注）特点 支持三种分词模式： 1.精确模式，试图将句子最精确地切开，适合文本分析； 2.全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 3.搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合
NLP语料库学习
qq_43588670的博客
05-30 1400
语料库有的是标记过的（annotated），意味着文本或文档已经标记出监督学习算法的正确响应（例如，用于构建检测垃圾邮件的过滤器），有的则是未标记（unannotated）的，可用于主题建模和文档聚类（例如，探索文本随时间推移潜在主题的变化）。语料库可分解为文档或单个文档。语料库包含的文档大小各不相同，从推文到书籍都有可能，但它们都包含文本（或者元数据）和一组相关的看法。文件可进一步分成段落和语篇（discourse）单元，每个语篇单元往往表达一个单一的思想。
发现新词 | NLP之无监督方式构建词库(四)
liujiesxs的博客
09-15 778
考虑多字的内部凝聚度；基于kenlm与trie树做了性能优化
Monash FIT5217 自然语言处理 期末复习整理详解（中文版）
10-13
自然语言处理（NLP）是计算机科学领域的一个关键分支，主要关注如何使计算机理解、生成和处理人类语言。Monash大学的FIT5217课程深入探讨了这一主题，为学生提供了期末复习的重要资料，包括课后习题答案、每周课件的...
366万常用的中文词汇整理词语t词性t词频
12-22
366万常用的中文词汇整理词语t词性t词频 此词典为个人综合多本词典整合的一个大词典，词典共有词汇3669216个词汇。词典结构为：词语\t词性\t词频。词频是用ansj分词对270G新闻语料进行分词统计词频获得。部分词汇...
中文医学NLP公开资源整理：术语集/语料库/词向量/预训练模型/知识图谱/命名实体识别/QA/信息抽取/模型/论文/etc-python
06-18
在IT领域，自然语言处理（NLP）是一个关键的研究方向，尤其在中文医学NLP方面，它涉及到大量的数据集、工具、模型和方法。本文将详细介绍标题和描述中提到的各种资源，包括术语集、语料库、词向量、预训练模型、知识...
NLP分词通用词表
04-26
相当全的停用词表，含有将近2000个停用词，你值得拥有。。
史上最全的中文NLP资源库.zip
09-10
财经词库 拆字词库 成语词库 地名词库 动物词库 法律词库 繁简体转换词库 公司名字词库 古诗词库 历史名人词库 汽车品牌、零件词库 诗词短句词库 食物词库 停用词 同义词库、反义词库、否定词库 医学词库 职业词库 中文分词词库整理 中文缩写库 中文谣言数据 中英日文名字库 IT词库 NLP_BOOK
nlp最全中文情感和语义词库
02-28
自然语言处理情感分析 舆情监测 需要用到的最全中文情感和语义词库
366万常用的中文词汇整理
09-02
作者：刘邵博 此词典为个人综合多本词典整合的一个大词典，词典共有词汇3669216个词汇。 词典结构为：词语\t词性\t词频。 词频是用ansj分词对270G新闻语料进行分词统计词频获得。 部分词汇无法确定是什么词性，对词性进行特别标注：nw和comb 1、词性nw表示本身不知道是什么词性。 2、词性comb表示通过ansj的nlp分词之后又被拆成了两个词。
常用中文词库，带词性
06-12
统计的一部分带词性的常用词库，csv格式，可以直接导入数据库
自然语言处理-瑶语勉话词汇
02-11
该资源为本人收集整理的瑶语勉话词汇，共计2846词，可用于针对瑶族语言文字的自然语言处理算法研究。 常用词及其中文释义如下： nyei 的 meih mbuo 你们 yiem 在 mienh 人 yie 我 mbuo 们，我们 caux 和，与，同 ...
【NLP】自然语言处理的语料库与词库
sikh_0529的博客
12-05 2807
NLP语料库
【NLP】中文停用词表（附哈工大停用词表代码）
是木子啦~
10-13 9474
啊 阿 哎 哎呀 哎哟 唉 俺 俺们 按 按照 吧 吧哒 把 罢了 被 本 本着 比 比方 比如 鄙人 彼 彼此 边 别 别的 别说 并 并且 不比 不成 不单 不但 不独 不管 不光 不过 不仅 不拘 不论 不怕 不然 不如 不特 不惟 不问 不只 朝 朝着 趁 趁着 乘 冲 除 除此之外 除非 除了 此 此间 此外 从 从而 打 待 但 但是 当 当着 到 得 的 的话 等 等等 地 第 叮咚 对 对于 多 多少 而 而况 而且 而是 而外 而言 而已 尔后 反过来 反过来说 反之 非但 非徒 否则 嘎
stopwords 中文停用词 哈工大
06-26
### 回答1： Stopwords中文停用词是哈工大提供的一份中文常用词汇表，包含了一些语言中没有实际含义的词汇，如“的”、“了”、“着”等。这些词语在文本分析过程中往往会对分析结果产生较大的干扰，因此通常会被排除在外。 哈工大的中文停用词库包含了近800个中文常用词汇，采用了现代语料库的统计方法进行筛选。这个停用词库具有以下特点： 1.涵盖面广：据统计，哈工大停用词库可以覆盖95%以上的中文语料库，包含了文本中常用的停用词。 2.实时更新：哈工大停用词库还在持续更新中，新词汇会被不断地加入，旧词汇也会被不定期清理，以保证词库的质量。 3.开源免费：哈工大停用词库是一个开源的项目，任何人都可以免费获取和使用，方便了广大研究人员和开发者在中文文本分析中使用。 在文本处理的过程中，通过引入停用词库，可以在一定程度上优化分析结果，提高处理效率。哈工大提供的中文停用词库得到了广泛的应用和认可，帮助人们更好地进行中文文本分析。 ### 回答2： 停用词是指在文本中没有实际意义的词语，如代词、介词、连词等，这些词语不仅不会影响文本的意义，还会增加处理文本的难度和时间，因此需要将它们从文本中剔除，减少文本的处理复杂性。 哈工大停用词表是一个中文停用词表，其中包含了一些常见的中文停用词，如“的”、“了”、“和”等，这些词语在中文文本中频繁出现，但并不具备实际意义，因此需要从文本中剔除。 使用哈工大停用词表可以有效地提高文本处理的速度和效率，同时还可以提高文本处理结果的质量和准确性。在进行文本分析、文本挖掘、自然语言处理等领域的研究和应用时，哈工大停用词表也是一个非常重要的工具。 ### 回答3： stopwords 是指在自然语言处理中被忽略的常见词汇，例如“的”、“是”、“了”等。这些词虽然在文本中出现频繁，但对于文本的意义并没有重要贡献，而且会占用处理资源，影响算法的性能。哈工大是国内著名的大学，其开发的停用词表在中文自然语言处理领域得到了广泛应用。 中文停用词表通常由人工整理而成，包含了常见的无意义、重复、停用的词汇，用于在处理中文文本时过滤掉这些字词，提高算法的效率。在分词、文本分类、信息检索等任务中使用停用词表能够减小处理数据的压力，并且提升算法的性能指标。在构建自然语言处理系统时，选择合适的停用词表是非常重要的一步，可以提高系统的效率、精确性和可靠性。 哈工大开发的中文停用词表包含了一些常见的中文停用词，例如“的”、“在”、“与”等，同时也支持用户自定义停用词，可以根据任务需求对停用词表进行扩充和修改。除了哈工大，国内外也有很多其他大学和企业提供了自己的停用词表，例如清华大学、北大、搜狗等。停用词表的使用需要根据具体的应用场景和领域进行选择和定制，以期达到更好的效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值