【NLP】新词发现

最新推荐文章于 2024-09-25 17:44:06 发布
最新推荐文章于 2024-09-25 17:44:06 发布
阅读量383 收藏
点赞数
文章标签： 人工智能

http://www.csdn.net/article/2013-05-08/2815186

http://blog.csdn.net/yuyu2223/article/details/7725705

http://www.doc88.com/p-115630273881.html

http://wenku.baidu.com/view/454db9d676a20029bd642dd5.html

http://book.51cto.com/art/201106/269052.htm

基于古汉语语料的新词发现方法.pdf
04-27
- 此外，在自然语言处理领域，高质量的古汉语语料库及新词识别成果对于开发相关工具和服务也至关重要。 6. **挑战与未来趋势** - 当前古汉语新词发现面临的主要挑战之一是如何有效处理古文中的异体字、通假字等...
NLP中的新词发现特征选择
chenpeng19910926的专栏
08-17 1864
http://blog.csdn.net/wendingzhulu/article/details/44464895
新词发现简介
古月哲亭
06-24 1547
原文链接：https://blog.csdn.net/weixin_43378396/article/details/103848628 新词发现是 NLP 的基础任务之一，通过对已有语料进行挖掘，从中识别出新词。新词发现也可称为未登录词识别，严格来讲，新词是指随时代发展而新出现或旧
NLP-新词发现和TF-IDF
最新发布
CSDN_l_i_u的博客
09-25 1432
词是最小的独立意义单位，它们是构成语言的基本元素。词可以单独出现，也可以与其他词共同出现以构成更复杂的意义。通俗的理解为字与字之间的固定搭配，两个字放在一起共同表示一个特定的含义，这样就可以称为一个词在数学角度看词的内部应该是稳固的内部凝固度：简单理解为AB这个词A与B这两个字几乎不与其他字共同出现，只跟彼此共同出现可以认为这个词比较稳定。例如饕餮这两个字基本上是同时出现的。
NLP自然语言处理-机器学习和自然语言处理介绍（三）
皇儒的博客
07-25 826
新词发现和TF-IDF算法
新词发现
温染的笔记
01-05 8072
新词发现也可称为未登录词识别，严格来讲，新词是指随时代发展而新出现或旧词新用的词语。同时，我认为特定领域的专有名词也可归属于新词的范畴。何出此言呢？通常我们会很容易找到通用领域的词表，但要找到某个具体领域的专有名词则非常困难，因此特定领域的专有名词相对于通用领域的词语即为新词。换言之，“新”并非只是时间上的概念，同样可以迁移到领域或空间上。因此，新词发现不仅可以挖掘随时间变化而产生的新词，也可以挖...
自然语言处理系列四》新词发现与短语提取》新词发现
weixin_52610848的博客
01-28 1210
此文章有对应的陈敬雷老师的清华大学出版社配套书籍教材 【自然语言处理原理与实战（人工智能科学与技术丛书）】 https://item.jd.com/13951851.html 和【分布式机器学习实战（人工智能科学与技术丛书）】，对应京东自营链接地址： https://item.jd.com/12743009.html
NLP之词的重要性
m0_57922605的博客
07-13 1977
1.通过计算TF∗IDFTF*IDFTF∗IDF值得到每个文本的关键词。2.将包含关键词多的句子，认为是关键句。3.挑选若干关键句，作为文本的摘要。import osimport re"""基于tfidf实现简单文本摘要"""#加载文档数据（可以想象成网页数据），计算每个网页的tfidf字典#计算每一篇文章的摘要#输入该文章的tf_idf词典，和文章内容#top为人为定义的选取的句子数量#过滤掉一些正文太短的文章，因为正文太短在做摘要意义不大。
java使用Nagao算法实现新词发现、热门词的挖掘
09-03
通过构造Nagao算法的实例，调用相关方法，开发者可以对任意的文本数据进行新词发现和热门词挖掘，从而为自然语言处理任务提供支持。 值得一提的是，该算法在实现时还可以对停用词进行修改，使其适应不同场景的需要...
Python-python3实现互信息和左右熵的新词发现
08-10
在自然语言处理（NLP）领域，新词发现（NEC, New Entity Discovery）是一项重要的任务，它旨在识别文本中的未登录词或专有名词，这些词汇可能在现有的词汇表中不存在。Python作为NLP领域广泛应用的语言，提供了丰富...
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
02-03
mynlp：一个生产级，高性能，预定，可扩展的中文NLP工具包。（中文分词，平均感知机，fastText，拼音，新词发现，分词纠错，BM25，人名识别，命名实体，自定义词典）
领域自适应文本挖掘工具（新词发现、情感分析、实体链接等），基于少量种子词和背景知识
11-03
领域自适应文本挖掘工具（新词发现、情感分析、实体链接等），基于少量种子词和背景知识
leetcode2-nlp-notebook:NLP领域常见任务的实现，包括新词发现,以及基于pytorch的词向量、中文文本分类、实体识别、
06-29
leetcode 2 项目描述 NLP 领域常见任务的实现，包括新词发现, 以及基于pytorch的词向量、中文文本分类、实体识别、摘要生成等。 依赖 python 3.7 pytorch 1.8.0 torchtext 0.9.1 optuna 2.6.0 transformers 3.0.2 目录 0. 新词发现算法 0-1. 1. 词向量 1-1. 1-2. 2. 文本分类 (每个模型内部使用进行调参) 2-1. 2-2. 2-3. 2-4. 2-5. 2-6. 2-7. 2-8. 数据集(data文件夹)： 二分类舆情数据集，划分如下： 数据集 数据量 训练集 56700 验证集 7000 测试集 6300 3. 实体识别 3-1. 数据集在 NER/data 文件夹内 4. 文本摘要生成 1). 生成式 4-1. 4-2. 4-3. 4-4. 2). 抽取式 4-5. 5. 该文件夹内记录机器学习/深度学习一些知识点的简单总结。 6. 该文件夹内记录leetcode最热门的100道算法题，部分解题思路搬运自leetcode题解。 对应论文 [1] Convolutional
新词发现方法
01-14
新词发现是自然语言处理领域的一个重要研究方向，无论是对于学术研究还是工业应用都具有重要意义。从学术角度来看，高效的新词发现工具不仅可以极大地丰富词典，降低词典编纂者的劳动强度，还能帮助学者们追踪语言...
NLP之通过词频发现中文新词
ithinking110的博客
12-25 1235
NLP之通过词频发现中文新词新词发现文本片段代码实现计算自由度 新词发现 新词发现任务是中文自然语言处理的重要步骤。新词有“新”就有“旧”，属于一个相对个概念，在相对的领域（金融、医疗），在相对的时间（过去、现在）都存在新词。文本挖掘会先将文本分词，而通用分词器精度不过，通常需要添加自定义字典补足精度，所以发现新词并加入字典，成为文本挖掘的一个重要工作。 这个和 HMM 发现未登录词还有区别，HM...
NLP新词发现
qq_20158613的博客
02-20 410
熵，表示不确定性，这里要计算每个词的左右熵，就是对于一个词，计算该词左边位置的熵和右边位置的熵。熵越大，说明该词左右两边变化越多，该词是一个词语的可能性越大。1.点互信息-表示凝固度。凝固度越大，说明该字组合是一个词的可能性越大。W表示几个字组成的一个组合出现的频率，C表示组合中的每个字。该值越大，W是一个词的可能性越大。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值