Word_segmentation分词笔记

最新推荐文章于 2024-07-25 12:03:04 发布
最新推荐文章于 2024-07-25 12:03:04 发布
阅读量176 收藏
点赞数
分类专栏： 学习整理 文章标签： 自然语言处理 人工智能 nlp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29787929/article/details/122224663
版权

分词笔记

最大匹配

前向最大匹配：给定最大匹配的数值，从左到右开始匹配最大匹配数值的句子中的字符，判断是否为单词，是则为分出的单词，并从分出的单词之后继续进行最大匹配，不是则将最大匹配数值减一继续判断，直至最大匹配数值为0，向右移动一位，继续最大匹配，直至句子中的字符全部完成判断。后向最大匹配规则与前向最大匹配一致，只是判断从句子的右侧开始到左侧结束。

拼写纠错

通过对拼写错误的单词进行：插入、删除和替换操作使其生成编辑距离较小的单词构成候选集，从候选集中选出最佳单词（通过极大化拼写错误的情况下得到最佳单词的条件概率获得最佳单词）

等风来随风飘
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Stata：中介效应分析新命令-sgmediation2
Stata连享会
08-08 5199
本文主要介绍一个新的中介效应分析命令——sgmediation2。
Chinese word segmentation 中文词分割
yaochuyi的博客
06-06 4722
转自： https://www.cnblogs.com/DjangoBlog/p/6889421.html 现有分词介绍 分词方法大致分为两种： 基于词典的机械切分 基于统计模型的序列标注切分 1. 基于词典的机械划分 1.1 基于词典的机械划分 基于词典的方法本质上就是字符串匹配的方法，将一串文本中的文字片段和已有的词典进行匹配，如果匹配到，则此文字片段就作为一个分词结果。...
NLP基础 分词Word Segmentation
xiaohuoguo的博客
02-24 810
NLP基础系列 （一） 文章目录NLP基础系列 （一）一、NLP Pipeline二、Word Segmentation1.Segmentation Method 1: Max Matching(最⼤匹配)2.Segmentation Method 2: Incorporate Semantic (考虑语义) 一、NLP Pipeline 一般NLP项目流程如下 其中 分词 word segmentation 包括对中文，英文，或者其他语言的分词 数据清洗 cleaning 中无用的标签（例如<
【NLP学习笔记】中文分词（Word Segmentation，WS）
学习带来的快乐最持久~
08-10 757
中文分词指的是将汉字序列切分成词序列。因为在汉语中，词是承载语义的最基本的单元。 分词是信息检索、文本分类、情感分析等多项中文自然语言处理任务的基础。 切分歧义是分词任务中的主要难题。 LTP的分词模块基于机器学习框架，可以很好地解决歧义问题。 同时，模型中融入了词典策略，使得LTP的分词模块可以很便捷地加入新词信息。 ...
自然语言处理-2-分词（Word Segmentation）
weixin_42159233的博客
02-05 1546
NLP-2-分词（Word Segmentation）一、引入问题二、分词的几种方法（一）前向最大匹配（forward-max matching）（二）后向最大匹配（backward-max matching）（三）考虑语义（Incorporate Semantic）（四）考虑语义的优化方法（维特比算法）三、分词总结   链接：[ 全文章目录 ] 一、引入问题  对于输入的一句话：“我...
Improving Named Entity Recognition for Chinese Social Media with Word Segmentation 阅读笔记
sendoh的博客
03-06 648
文章目录Improving Named Entity Recognition for Chinese Social Media with Word Segmentation Representation Learning(利用分词表示学习改进中文社交媒体命名实体识别)AbstractIntroductionModelParameter EstimationExperiments and AnalysisDiscussion Improving Named Entity Recognition for Chi
中文分词笔记
hongguoya的博客
04-01 165
中文分词笔记面临的主要挑战先前方法序列标注先前方法的不足 面临的主要挑战 歧义性 Ambiguity 词典外词汇 Out-of-vocabulary words 先前方法 Character based methods (sequence labeling) Word based methods 序列标注 Sequence labeling has been the standard approach to Chinese word segmentation since (Xue, 2003). H
linefit_ground_segmentation:地面分割
08-04
linefit_ground_segmentation 中提出的地面分割算法的实现 @inproceedings{himmelsbach2010fast, title={Fast segmentation of 3d point clouds for ground vehicles}, author={Himmelsbach, Michael and ...
face_segmentation:使用CNN和CRF进行人脸分割
04-27
代替在A CNN Cascade for Landmark Guided Semantic Part Segmentation标检测网络，我们使用来检测在大型姿态图像上效果很好的地标。 我们还尝试了其他方法来裁剪图像。 代号 face_segment_part.py：用于地标制导...
Segmentation_segmentation_pcl_
09-29
标题“Segmentation_segmentation_pcl_”暗示我们将讨论的是PCL库中的点云分割技术，特别是针对垂直平面的分割。 在点云数据中，分割是指将一个大的点云数据集划分为多个具有特定属性或特征的子集，这些子集可能...
data_segmentation.zip_data segmentation_data_segmentation_数据切分
07-15
本案例中，我们有两个关键的MATLAB文件：`spectrogram.m`和`data_segmentation.m`。 `spectrogram.m`可能是一个用于计算和可视化信号的频谱分析的函数。频谱分析是将时域信号转化为频域表示，这对于理解信号的频率...
shapenetcore_partanno_segmentation_benchmark_v0_normal.zip
10-03
在本文中，我们将深入探讨一个名为"shapenetcore_partanno_segmentation_benchmark_v0_normal.zip"的数据集，它是为研究点云分析而设计的，特别是与《Relation-Shape Convolutional Neural Network for Point Cloud ...
C2W3.Assignment.Language Models: Auto-Complete.Part1
老毛的博客
07-22 1559
当模型遇到了一个它在训练过程中从未见过的单词，那么它将没有输入单词来帮助它确定下一个要建议的单词。将所有标记词转换为小写，这样原文中大写的单词（例如句子开头的单词）就会与小写单词得到相同的处理。将每个单词列表添加到句子列表中。为了在预测过程中处理未知词，可以使用一个特殊的标记 “unk”来表示所有未知词。语言模型为单词序列分配概率，使更 “可能 ”的序列获得更高的分数。这里不会使用数据中出现的所有分词（单词）进行训练，只使用频率较高的单词。需要一个双 for 循环，一个用于句子，另一个用于句子中的标记。
大语言模型-对比学习-Contrastive Learning
weixin_42045968的博客
07-24 708
对比学习 是一种特殊的`无监督学习方法`。 旨在通过`拉近相关样本的距离`并且`推远不相关样本的距离`，来学习`数据表示`。 通常使用一种高自由度、自定义的规则来`生成正负样本`。在模型预训练中有着广泛的应用。
【NLP自然语言处理】为什么说BERT是bidirectional
m0_64280569的博客
07-25 399
我们知道，Bert设计时主要采用的是Transformer编码器部分，要论述Bert为啥是双向的，我想从编码器和解码器的注意力机制来阐述。二者区别一个是双向，一个是单向，这也就是我如何理解的Bert采用的是双向编码器了。在看这篇博客前，需要对Transformer有一定的了解，在这里推荐博客。而解码器部分采用的是Masked Attention，
大模型llama结构技术点分享；transformer模型常见知识点nlp面经
最新发布
weixin_42357472的博客
07-25 147
大模型模型结构，大模型nlp面经，transformer
2024第八届自然语言处理与信息检索国际会议 (NLPIR 2024)即将召开！
2301_78601484的博客
07-25 727
2024第八届自然语言处理与信息检索国际会议 (NLPIR 2024)将于2024年12月13-15日在日本冈山的冈山大学举行。NLPIR 2024将为自然语言处理与信息检索领域的专家学者提供一个交流与合作的平台，推动该领域的学术进步和技术创新。同时，本次会议也将为相关企业提供一个展示最新技术、寻求合作机会的平台。
大型语言模型的生物医学知识图优化提示生成
发呆的比目鱼的博客
07-21 1119
KG-RAG框架，较好的结合了生物医学知识图谱SPOKE和LLM的优势。SPOKE是一个开放知识图谱，提供数据下载和开放API，整合了超过40个公开可用的生物医学知识源，涵盖了基因、蛋白质、药物、化合物、疾病等概念和概念之间的关系，可以为LLM提供一个强大的医疗领域知识。研究人员对KG-RAG框架进行了广泛的测试，包括单跳和双跳提示、药物再利用查询、生物医学真假问题和多项选择题。结果表明，KG-RAG显著提高了LLMs的性能，特别是在具有挑战性的多项选择题数据集上，LLMs都取得了较大的提升。
human_segmentation_pphumanseg
07-03
human_segmentation_pphumanseg是一种人体分割技术，它是基于PaddlePaddle深度学习框架开发的。 人体分割是计算机视觉领域的重要任务，它旨在将图像中的人体和背景分离开来。human_segmentation_pphumanseg通过训练...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值