NLP中文分词知识梳理

最新推荐文章于 2023-05-26 00:17:56 发布
最新推荐文章于 2023-05-26 00:17:56 发布
阅读量590 收藏 2
点赞数
分类专栏： 搜索推荐-机器学习 文章标签： 人工智能 机器学习 自然语言处理
未来百科AI导航：https://www.huntagi.com
本文链接：https://blog.csdn.net/lsgqjh/article/details/104198256
版权

中文分词开源工具ik，jieba优缺点优点：使用开源通用语料，综合全面，但缺乏专业词汇缺点：词汇时效方面，新词不及时识别行业结论实践证明，基于统计学习的分词工具要优于基于人工规则的分词工具评测结果表明，未登录词所造成的分词精度下降至少比分词歧义大5倍以上实验结果证明，字标注统计学习方法能够大幅提高未登录词的识别率难点1清晰地界定中文词汇： 如“科教兴国”切词成【科教兴国】和【科教】，【兴国】都符合“词”的含义羽毛球拍卖完了羽毛球 / 拍卖 / 完了 羽毛球拍 / 卖 / 完了交集型歧义组合型歧义希望你们再创新的业绩希望 / 你们 / 再 / 创 / 新 / 的 / 业绩希望 / 你们 / 再 / 创新 / 的 / 业绩未登录词的识别问题指没有被收录到分词词典里的词如人名、机构名、缩写词、新增词解决方案歧义问题未登录词问题“双向最大匹配”规则“分词后词总数最少”规则切分路径结果里有多少词，就罚多少分，每出现一个不成词的单字，就加罚一分，罚分最少的就是最优的分词结果。构建DAG利用动态规划计算 N-Gram切词构建DAG，利用统计语言模型+动态规划计算最大概率优点： 利用了“马尔科夫假设”考虑了词之间的影响根据数量：各种未登录词的分布1. 基于统计抽词2. 基于“凝固度”算法，剔除“紧密度”低的词，如“的飞机”3. 基于“自由度”信息熵算法，剔除“半个词”，如“意大”，“俄罗”评测准确率召回率F-Socre评估指标jieba分词原理1. 加载词典文件dict.txt到内存2. 根据内存中的词典构建待分词句子的DAG（有向无环图）3. 对于词典中未登录词，可以使用HMM模型的viterbi算法去识别，也可以通过参数设置跳过4. 已登录词和未登录词全部分词完毕后，使用动态规划寻找DAG的最大概率路径5. 最后输出分词结果HMM，CRF模型分词来识别未登录词HMM基本假设： 马尔可夫假设，每个节点（字）出现的概率只跟它前面的少数几个节点（字）有关。具体方法： 用字作为节点重新构成一个DAG，那么分词问题就转化成了字的分类问题。即：识别每个字的词位：BMESCRF：区别和联系：HMM只考虑了前一个隐藏状态和当前一个观察状态的影响，而忽略掉了之前和之后的状态。而CRF考虑充分学习全局的信息，刚好可以解决HMM的问题Word2vec含义：简单理解就是有一类模型可以将词转换成向量的形式，并且这个向量还保留了这个词的语义信息大量文本语料中以无监督的方式学习语义知识的一种模型而大火的BERT模型其本质可以看作是升级版的Word2vec

研发之道
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
自然语言处理NLP知识梳理
RayX的博客
10-21 1115
NLP相关知识梳理研究和应用领域研究难点学科掌握一般处理过程获取语料语料预处理特征工程模型训练模型评估模型上线应用模型重构（非必须） 感谢知乎 @华天清 的总结 研究和应用领域 自动分词 词性标注 句法分析 文本分类 信息抽取 文本生成 语音识别和生成 信息检索 问答系统 机器翻译 情感分析 自动摘要 文字蕴含 研究难点 单词的边界难界定 词义的消歧 句法的模糊性 有瑕疵的或不规范的输入 ...
NLP知识整理(上)
qq_26413541的博客
01-07 240
数据预处理 数据清洗 在拿到文本后需要使用re工具库来利用正则表达式对文本进行一些数据预处理和数据清洗的操作，目的是去除脏数据，保证数据的规范性和一致性，便于后期处理。 常见的操作有: ①统一计量单位，如将mg,g,kg,‘克’,‘千克’统一为kg，使不同单位之间的数字可以相互比较和计算。 ②缩略词替换，如将’can’t’转换成’can not’。 ③标点处理，去除掉’,/./。/!/…'等文本...
NLP基础知识整理
china1000的专栏
06-20 1275
目录 一、生成模型 VS 判别模型 一、生成模型 VS 判别模型 从概率分布的角度考虑，对于一堆样本数据，每个均有特征Xi对应分类标记yi。 生成模型：学习得到联合概率分布P(x,y)，即特征x和标记y共同出现的概率，然后求条件概率分布。能够学习到数据生成的机制。 判别模型：学习得到条件概率分布P(y|x)，即在特征x出现的情况下标记y出现的概率。 数据要求：生成模型需要的数据量比较大，能够较好地估计概率密度；而判别模型对数据样本量的要求没有那么多。 https://blog.csdn..
中国人工智能学会通讯——面向知识图谱的自适应中文分词技术
weixin_34273481的博客
09-01 557
引言 知识图谱用于描述真实世界中存在的各 种实体和概念，知识图谱技术提供了一种从 海量文本和图像中抽取结构化知识的手段[1]。 知识图谱的构建可分为信息抽取、知识融合 和知识计算三部分，其中信息抽取是知识图 谱构建的基础，主要面向各种非结构化数据、 半结构化数据和自由文本数据。这里，自由 文本数据作为一种非结构化数据，是构建知 识图谱的主要数据来源。因...
自然语言处理（nlp) 学习--分词
RongYunYunDai的博客
12-31 1215
自然语言处理（nlp) 转行新手必看 day1自然语言处理基础梳理 提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录自然语言处理（nlp) 转行新手必看day1自然语言处理基础梳理前言一、nlp基本处理流程二、部分处理流程详析1.决定所使用的计算技术：总结三级标题四级标题五级标题六级标题 前言 自然语言处理在现今的意义 一、nlp基本处理流程 ①理解问题陈述②收集数据库/语料③数据集/语料分析④数据集预处理⑤特征工程⑥决定所使用的计算技术，如机器学习、基于规则的方法等⑦应用计
自然语言处理分词_中文分词词库整理httpcws_dict.txt
最新发布
04-05
标题“自然语言处理分词_中文分词词库整理httpcws_dict.txt”所涉及的知识点是关于自然语言处理（Natural Language Processing，简称NLP）中的中文分词技术。中文分词是中文信息处理的基础，其目的是将连续的文本...
自然语言处理分词_中文分词词库整理dict.txt
04-05
自然语言处理（NLP）是计算机科学、人工智能以及语言学领域的一个交叉学科，它涉及到计算机与人类语言文本的交互。其中，分词是中文NLP中的一个基础而关键的环节。中文与英文等西方语言不同，中文没有空格来分隔单词...
自然语言处理NLP中文分词之法律词库.zip
03-31
"自然语言处理NLP中文分词之法律词库.zip"是一个专门针对法律领域的中文分词资源包，其中包含了“THUOCL_law.txt”文件，这个文件很可能是由清华大学开放中文词库（THUOCL）扩展而来的，特别针对法律专业术语和词汇...
自然语言处理分词_古诗词库miss.txt
04-05
所给文件标题“自然语言处理分词_古诗词库miss.txt”表明了这是一份关于自然语言处理中文分词的数据集，尤其针对古诗词。而文件的描述“自然语言处理相关的分词数据”进一步强调了这些数据与自然语言处理领域的分词...
分词词库_中文分词词库最新整理（TXT格式）
10-30
中文分词是自然语言处理中的一个基础任务，它是指将连续的汉字序列切分成具有语义意义的词汇序列的过程。与英文等其他语言相比，中文没有明显的单词界限，因此中文分词是进行后续自然语言处理任务（如文本分类、情感...
c# 中文分词 LUCENE IKAnalyzer
03-16
自己做的一个中文分词，可以用在MONO下。根据IKAnalyzer Java版本移植到C#。采用了Powercollection类库。
基于IKAnalyzer.NET的分词工具（包含dll）
04-22
这个分词是前一段需要用时，在网上扒了好久，才找到的一个，而且年代久远，但是还能用，所以记录一下。 基于IKAnalyzer.NET的分词工具（包含dll） 下载可以直接运行
中文分词c#
10-30
该程序是本人上学时做的一个小程序，主要用来解决中文分词
中科院分词工具web版
04-04
中科院分词工具web版，在原来工具基础上改成网页版本的，可以直接使用
C#写的分词程序(含词典)
06-29
C#写的分词程序(含词典)，仅供学习参考使用<br>
HanLP中文分词、人名识别、地名识别
SylvanDing's Blog
11-21 5982
使用Python的HanLP自然语言处理包，调用其API，实现中文分词、中国人名识别、音译识别名字和地名识别。本实验选用的文本是曾经爬取的百度百科的前40条简介数据，并且对比了不同语义（Semantic）算法下的结果。
【NLP】自然语言处理_NLP入门——分词和词性标注
Danger的博客
04-11 2016
【NLP】自然语言处理_NLP入门——分词和词性标注
测试C#分词工具jieba.NET
gc_2299的博客
05-26 1456
学习分词工具jieba.NET的基本用法、
C#中文分词算法：IKAnalyzerNet
三颗残牙(Deiva)的专栏
04-26 3899
正 文：     C#中文分词算法：IKAnalyzerNet的使用。 需要先引用dll库文件 IKAnalyzerNet.dll + Lucene.Net.dll + PowerCollections.dll 这三个，打包在本文下方，使用VS2008调试通过： using IKAnalyzerNet; using IKAnalyzerNet.dict; usin
自然语言处理实验教程：语料库、词汇知识库与分词技术
"本实验指导书是为本科学生设计的，涵盖了自然语言处理中的关键概念和技术，包括语料库的收集与整理、词汇知识库的使用、中文分词技术和文本分类技术的应用。实验中涉及的编程语言有Python、C++和Java，适合毕业设计...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值