新词发现

最新推荐文章于 2022-08-17 00:54:47 发布
最新推荐文章于 2022-08-17 00:54:47 发布
阅读量284 收藏
点赞数
原文链接：https://my.oschina.net/chunquedong/blog/1865208
版权

所谓新词，需要做到词内凝固度足够高，左右相邻字自由度足够高。 我们使用点互信息(pointwise mutual information)来衡量凝固度，使用信息熵来衡量自由度。

互信息

PMI = p(x,y) / (p(x)p(y))

互信息其实就是对X和Y的所有可能的取值情况的点互信息PMI的加权和

信息熵

详见这里

转载于:https://my.oschina.net/chunquedong/blog/1865208

chiduokui9989
关注
互信息和左右熵的新词发现（笔记）
Jemila
09-19 1万+
新词推荐学习算法 其实很多人都已经知道这个算法了，是由Matrix67牛人提出来的，实现的方式也有很多人解决了。我只是写个最简单的介绍
关于新词发现
zhzhx0318的专栏
10-16 1111
本笔记摘自：http://www.matrix67.com/blog/archives/5044概述挖掘新词的传统方法是，先对文本进行分词，然后猜测未能成功匹配的剩余片段就是新词。这似乎陷入了一个怪圈：分词的准确性本身就依赖于词库的完整性，如果词库中根本没有新词，我们又怎么能信任分词结果呢? 一种大胆的想法是，首先不依赖于任何已有的词库，仅仅根据词的共同特征，将一段大规模语料中可能成词的文本片段全
Python-python3实现互信息和左右熵的新词发现
08-10
python3利用互信息和左右信息熵的中文分词新词发现
几种新词发现思路
qq_33391629的博客
09-22 1493
下面的方法都是用于构建新的词库，将新的词库跟常用词库进行对比，删掉常见词，就可以得到新词了。 一、基于频次、凝聚度、自由度的分词。 频次：就是字或词在整个语料中出现的次数。在整个 2400 万字的数据中，“电影”一共出现了 2774 次，2774就是频次。 凝聚度：就是两个词单独出现的概率乘积和它们一起出现的概率的大小对比。在整个 2400 万字的数据中，“电影”一共出现了 2774 次，出现的概率约为 0.000113 。“院”字则出现了 4797 次，出现的概率约为 0.0001969 。如果两者
java使用Nagao算法实现新词发现、热门词的挖掘
09-03
Nagao算法是一种在中文文本处理中常用的算法，用于实现新词发现和热门词的挖掘。新词发现是指在大量的文本数据中发现之前未被记录或不常见的词语，而热门词挖掘则是指从当前数据中找出频繁出现并受到广泛关注的词汇...
基于古汉语语料的新词发现方法.pdf
04-27
### 基于古汉语语料的新词发现方法 #### 概述 本文档探讨了在古汉语领域中如何利用语料库进行新词发现的方法。这种方法对于理解古代文献、挖掘历史信息以及促进语言学研究具有重要意义。古汉语作为中国传统文化的...
文本挖掘（一）—— 新词发现1
07-10 3360
一、规则/概率/信息熵 经典算法：采用凝固度和自由度和词频来进行新词筛选。 凝固度：字之间相关性，概率计算得到 自由度：一个足够独立的词应该会被应用在不同上下文中，采用左右信息熵计算得到 参考link，github 代码，github代码2 github代码3 搜资料中，看到比较多的是基于凝固度和自由度，以及在此之上进行改进的方法 TextRank 关键词提取、关键短语提取、摘要提取 参考 link， github代码 On the unsupervised analysis of do
词之间的相关性--点互信息PMI算法
orangerfun的博客
08-17 2053
PMI
计算语言学之自信息与互信息在新词发现、短语识别中的应用
刘炫320的博客
06-05 3376
1. 引言在计算语言学预备知识中，我们介绍了熵（自信息）与互信息；条件熵与联合熵；相对熵与交叉熵。这里我们要说明的是关于其在自然语言中的具体应用。2. 熵（自信息）与互信息现在我们先来复习以下熵及互信息的公式定义：熵（自信息）：H(P)=−∑x∈Rp(x)log2p(x)H(P)=-\displaystyle\sum_{x∈R}p(x)log_2p(x) 所谓的自信息，就是指描述一个随机变量自身的
自由度+凝固度+统计的新词发现
我的备忘录
06-09 3689
偶然翻到了2012年的一篇文章，介绍了一种很好玩的新词发现的算法。关键词：自由度、凝固度、n-gram。 自由度： ———表示了一个词组的左右两边的词的固定程度。例如怕上火，下一句是喝王老吉，好像怕上火下一句很少接其他的词，那就是它的自由度不高，而一个真正的词必定可以和很多词配合，所以’怕’+‘上火’就不能构成一个新词。实际上我们统计’怕上火’的左右邻词和邻词的出现次数，并以总的出现次数作为分母计...
基于互信息+信息熵的新词发现
macb007的博客
06-01 2924
from nltk.probability import FreqDist f = open(r"C:\Users\machuanbin\Desktop\santi.txt",encoding='utf-8') text = f.read() stop_word = ['【', '】', ')', '(', '、', '，', '“', '”', '。', '\n', '《', '》', ' ...
基于词表和N-gram算法的新词识别实验
热门推荐
zhoubl668的专栏：远帆，梦之帆！
04-10 1万+
曹  艳  杜慧平  刘  竟  侯汉清 (南京农业大学信息管理系  210095) 摘  要  目前未登录词问题仍然很大程度上影响着自动标引和信息检索的效率。本文提出了一种选择期刊论文的题名和摘要作为训练语料，利用N-gram算法切分和停用词典等过滤筛选非专名的新词识别方法。该方法主要分为两步：先进行N元切分，保存关键词候选集并统计词频；然后进行一系列的过滤，主要有词频阈值限定、前停后停词典
新词发现算法:一种基于autophrase_n-gram_信息熵_凝固度自研的方法（毕业设计）
12-16 2102
可以发现特殊领域海量数据中专属的名词，这种名词在结巴等公众领域词库中是没有的。 先上结果，可以挖掘到一些特有的方法词汇！ 看下代码文件目录： 看下原始的数据文件： 代码如下： import urllib import requests import os import time import threading import lxml import datetime import requests import json import pandas as pd impor...
新词发现技术：基于上下文的量化分析
"本文主要探讨了字串的左右上下文在手机camera量化指标测试中的应用，以及新词发现的重要性和相关方法。" 在信息技术领域，尤其是自然语言处理（NLP）中，新词发现是一个关键任务，它涉及到识别文本中未在标准词典...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值