基于大规模语料的新词发现算法

最新推荐文章于 2021-12-16 15:37:25 发布
最新推荐文章于 2021-12-16 15:37:25 发布
阅读量1.1k 收藏
点赞数
分类专栏： 数据挖掘

文章主要讲了 凝固程度和自由程度 的应用，可以参考

http://www.csdn.net/article/2013-05-08/2815186

expleeve
关注
专栏目录
中文新词发现算法解析
走过路过
03-19 2万+
现在社交网络和视频网站发展都非常迅猛，参与人数非常多，每日UGC量非常可观。也因此经常制造爆炸性新闻，新词的制造和流行也频频出现。不同的社交圈内，由于话题性的不同，其新词分布也不同，所以直接引入搜狗等输入法的新词，会造成新词污染。因此，往往需要基于自营社交圈的语料库做新词发现，才能实现更精确的文本语义分析。   算法解析： 我将新词发现流程比喻为判断默认男女是否为伴侣关系（这里限指关系比较稳
【算法设计】基于大规模语料的新词发现算法
weixin_30518397的博客
10-23 318
对中文资料进行自然语言处理时，我们会遇到很多其他语言不会有的困难，例如分词——汉语的词与词之间没有空格，那计算机怎么才知道“已结婚的和尚未结婚的”究竟是“已／结婚／的／和／尚未／结婚／的”，还是“已／结婚／的／和尚／未／结婚／的”呢？ 这就是所谓的分词歧义难题。不过，现在很多语言模型都已能比较漂亮地解决这一问题了。但在中文分词领域里，还有一个比分词歧义更令人头疼的东西——未登录词。中文没有首字母...
大规模语料新词发现算法：突破分词难题
在大数据时代的自然语言处理中，一种创新的策略是基于大规模语料的新词发现算法，它针对中文处理中的独特挑战，尤其是新词识别的问题。传统的分词方法往往依赖于预先定义的词库，但这种做法在处理未登录词（如人名、...
论文研究-一种基于大规模语料的新词识别方法.pdf
09-07
针对k均值聚类提取关键帧存在的不足，提出了优化初始聚类中心的关键帧提取算法。该算法的初始聚类中心由视频数据本身的分布来决定，增强了结果的稳定性;聚类数k不再唯一地决定于给定值，而是根据视频内容自适应获得...
大规模语料中自动新词发现的算法探索
"这篇《基于大规模语料的新词发现算法》的文章主要探讨了在中文自然语言处理中，如何有效识别和处理未登录词，即新词的问题。文章指出，中文的分词歧义和未登录词是处理中文文本时面临的挑战，特别是新词的自动发现...
【中文分词系列】 8. 更好的新词发现算法
热门推荐
人工智能
04-03 1万+
如果依次阅读该系列文章的读者，就会发现这个系列共提供了两种从0到1的无监督分词方案，第一种就是《【中文分词系列】 2. 基于切分的新词发现》，利用相邻字凝固度（互信息）来做构建词库（有了词库，就可以用词典法分词）；另外一种是《【中文分词系列】 5. 基于语言模型的无监督分词》，后者基本上可以说是提供了一种完整的独立于其它文献的无监督分词方法。 但总的来看，总感觉前面一种很快很爽，却又显得
搜狗词库新词发现算法
01-02
搜狗词库新词发现算法、常见的工具类、百度应用、翻译、天气预报、汉语纠错、字符串文本数据提取时间解析、实体抽取等等
新词发现方法
01-14
不错的新词发现方法，利用了pat-array, 倒排索引
word-discovery:速度更快、效果更好的中文新词发现
05-23
速度更快、效果更好的中文新词发现 复现了之前的中的新词发现算法。 算法细节： 复现细节： 实测 在经过充分训练的情况下，用bakeoff2005的pku语料进行测试，能得到0.765的F1，优于ICLR 2019的的0.731 （注：这里是为了给效果提供一个直观感知，比较可能是不公平的，因为我不确定这篇论文中的训练集用了哪些语料。但我感觉在相同时间内本文算法会优于论文的算法，因为直觉论文的算法训练起来会很慢。作者也没有开源，所以有不少不确定之处，如有错谬，请读者指正。） 使用 使用前务必通过 chmod +x count_ngrams 赋予count_ngrams可执行权限，然后修改word_discovery.py适配自己的数据，最后执行 python word_discovery.py 更新 2019.12.04: 兼容python3，在python2.7和python3.5下测试通过
新词发现算法
段哥哥的博客
06-30 4086
新词发现 基于统计的经典算法（无监督学习）：基于已有的大量语料，枚举可能所有新词（原始字的顺序组合，限制长度为 n-gram），然后计算一些统计指标（主要是 凝固度、自由度）进行过滤，尽量准确地筛选出潜在的新词。产出的新词还是需要进行人工审核确认。 凝固度 这是一个类似互信息 Mutual Information 的概念，衡量两个字之间的相关性，是否经常“凝固”在一块儿出现，足够组成新的词。 2-...
新词发现算法研究
baidu_15113429的博客
11-02 3105
使用MMseg进行分词的时候，需要大量的词库最为支撑，因此一个新词发现算法变得尤为重要。 新词发现算法理论基础 http://www.matrix67.com/blog/archives/5044 在实际运用中你会发现，文本片段的凝固程度和自由程度，两种判断标准缺一不可。只看凝固程度的话，程序会找出“巧克”、“俄罗”、“颜六色”、“柴可夫”等实际上是“半个词”的片段；只看自由程度的话，程
新词发现算法:一种基于autophrase_n-gram_信息熵_凝固度自研的方法（毕业设计）
12-16 2105
可以发现特殊领域海量数据中专属的名词，这种名词在结巴等公众领域词库中是没有的。 先上结果，可以挖掘到一些特有的方法词汇！ 看下代码文件目录： 看下原始的数据文件： 代码如下： import urllib import requests import os import time import threading import lxml import datetime import requests import json import pandas as pd impor...
中文新词发现相关算法调研
JetHu1的博客
02-07 774
@ 欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写...
几种新词发现思路
qq_33391629的博客
09-22 1502
下面的方法都是用于构建新的词库，将新的词库跟常用词库进行对比，删掉常见词，就可以得到新词了。 一、基于频次、凝聚度、自由度的分词。 频次：就是字或词在整个语料中出现的次数。在整个 2400 万字的数据中，“电影”一共出现了 2774 次，2774就是频次。 凝聚度：就是两个词单独出现的概率乘积和它们一起出现的概率的大小对比。在整个 2400 万字的数据中，“电影”一共出现了 2774 次，出现的概率约为 0.000113 。“院”字则出现了 4797 次，出现的概率约为 0.0001969 。如果两者
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值