讲座笔记：中文分词基础介绍

最新推荐文章于 2022-01-27 21:08:34 发布
最新推荐文章于 2022-01-27 21:08:34 发布
阅读量505 收藏
点赞数
分类专栏： 自然语言处理 文章标签： 分词 自然语言处理 工程实践
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thormas1996/article/details/80789624
版权

今天听了一个分词讲座，较为基础的全面介绍以及工业上的一些实践。

整理了一下，尽量不写公式用文字说明。


分词是NLP中处理中文数据特有的一种方法，因为英文天然有空格隔开，所以分词主要针对的是中文文本数据。

定义
  • 分词指将一串汉字序列，按照一定规范，合理地切分成一个词序列的过程
        eg. 我/出门/了
难点：
  • 分词规范不统一（PKU，CTB，etc）
  • 歧义切分（交集型：结合/成 or 结/合成；组合型：学生会 or 学生/会；真歧义：一打啤酒 or 打人）
  • 未登录词（人名，地名，新词，etc），也叫OOV
评估标准
最低0.47元/天 解锁文章
thormas1996
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
向量空间模型
wahcheung的博客
10-12 1977
词项权重计算词项频率(term frequency)在布尔检索模型中，只考虑了词项在文档中出现与否，给定一个布尔查询，一篇文档要么满足查询要求要么不满足，返回的文档没有排序。对于Web搜索引擎，用户往往需要浏览非常多的网页才能找到需要的信息。如何才能对检索的文档进行评分和排序呢，一个合理的想法是，如果一篇文档包含的查询词的数目越多，那么这篇文档与查询相关的可能性就越高，就意味着更可能是用户所需要的文
基本分词
weixin_33978044的博客
10-10 49
2019独角兽企业重金招聘Python工程师标准>>> ...
中文分词基础
ForgetThatNight的博客
03-31 1824
（一）中文分词基础背 景• 一段文字不仅仅在于字面上是什么，还在于怎么切分和理解。• 例如：      – 阿三炒饭店：      – 阿三 / 炒饭 / 店 阿三 / 炒 / 饭店• 和英文不同，中文词之间没有空格，所以实现中文搜索引擎，比英文多了一项分词的任务。• 如果没有中文分词会出现：     – 搜索“达内”，会出现“齐达内”相关的信息• 要解决中文分词准确度的问题，是否可以提供一个免费...
【原创】NLP中的中文分词技术
heiyeluren的blog（黑夜路人的开源世界）
01-09 1万+
分词就是对用户提交查询的关键词串进行的查询处理后根据用户的关键词串用各种匹配方法进行的一种技术。是自然语言处理（NLP）的一种基础技术形态，中文因为特殊性，跟英文等自然语言处理方式不同，本文主要是探讨中文的分词技术。
中文分词学习笔记
zerozzl01的博客
10-24 1486
1 中文分词概述 1.1 简介 定义 通过计算机自动识别出句子中的词，在词间加入边界标记符，分隔出各个词汇。 为什么需要中文分词？因为，汉语中，书面上以字为基本单位，语义上以词为基本单位。 难点 1）没有统一的分词标准，不同的领域对于词的划分方式有不同的标准。 2）歧义消解 例子1：结婚的和尚未结婚的 结婚/的/和/尚未/结婚/的 结婚/的/和尚/未/结婚/的 例子2：研究生命的起源 研究/生命/的/起源 研究生/命/的/起源 ...
中文分词原理及分词工具介绍
JennyWang0520的博客
05-26 1354
中文分词学习记录中文分词实现方法基于字符串匹配的分词方法基于理解的分词方法基于统计的分词方法工具介绍结巴分词SnowNLP北大PKUSEG 中文分词 首先，我们将介绍中文分词的思想和方法。 分词就是将连续的字序列按照一定的规范重新组合成词序列的过程(来自百度百科)。中文分词(Chinese Word Segmentation)指的是将一串串汉字序列切分为单个的字，继而重新组合为词的过程。 中文分词工具有很多，当下国内比较流行的中文分词工具有盘古分词、Yaha分词、jieba分词、SnowNLP、清华THUL
NLP-基础任务-中文分词算法(1)-基于词典： 机械分词（词典字符串匹配）：前向最大匹配、后向最大匹配、双向最大匹配【OOV：基于现有词典，不能进行新词发现处理】
u013250861的博客
01-27 1520
NLP-基础任务：中文分词算法【基于词表：前向最大匹配、后向最大匹配、双向最大匹配】【基于统计模型：基于N-gram语言模型】【基于序列标注：基于HMM、基于CRF、基于深度学习的端到端的】
计算语言学概论复习笔记（分词、语言模型、隐马尔科夫、POS、ML、DL、MT）
Jasmine_dream
05-26 2892
01（计算语言学概论） 计算语言学的应用 机器翻译 人机对话 信息检索 信息提取 自动文摘 文本分类 拼写检查 音字转换 什么是计算语言学？ 计算语言学是通过建立形式化的计算模型来分 析、理解和处理自然语言的学科。 计算语言学的研究目标 研制能理解并生成人类语言的计算机系统（终极） 研制出具有一定人类语言能力的计算机文本 或语音处理系统。（当前） 计算语言学的研究内容 建立形式化的...
Jieba分词简介
韩明宇
03-28 1万+
Jieba分词官网：https://github.com/fxsjy/jieba 三种分词模式 Jieba提供了三种分词模式： 精确模式，试图将句子最精确地切开，适合文本分析； 全模式，把句子中所有的可以成词的词语都扫描出来, 速度非常快，但是不能解决歧义； 搜索引擎模式，在精确模式的基础上，对长词再次切分，提高召回率，适合用于搜索引擎分词。 import jieba sent...
中文分词基础原理
Levin的技术工厂
03-31 3415
工作这些年总会听到分词、字典、语义这些词,一直对分词这块不甚了解,最近正好公司在推行OKR，那么就给自己定了几个OKR,其中就有“了解业界两款java分词器并落地一份wiki“,目标相对来说比较容易达成,但是也要了解一些基本分词的原理,那么就有了这篇博客的原因。毕竟术业有专攻,平时的精力没有放在分词、NLP这些领域,这篇文章只描述一些基本的分词理论,用于备注。 什么是中文分词 一句话概括就是通过...
比赛必备 ︱ 省力搞定三款词向量训练 + OOV词向量问题的可性方案
素质云笔记
10-31 9550
本篇为资源汇总，一些NLP的比赛在抽取文本特征的时候会使用非常多的方式。 传统的有：TFIDF/LDA/LSI等 偏深度的有：word2vec/glove/fasttext等 还有一些预训练方式：elmo / bert 文章目录@[toc]1 之前的几款词向量介绍与训练帖子2 极简训练glove/word2vec/fasttext2.1 word2vec的训练与简易使用2.2 glove...
NLP自然语言处理中oov的词的解释
Lisen’s blog
11-11 7591
oov 英文全称：out of vocabulary，即超出词表外的词。
TF-IDF原理及使用
热门推荐
一路风景
12-18 16万+
一. 什么是TF-IDFTF-IDF(Term Frequency-Inverse Document Frequency, 词频-逆文件频率). 是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法，用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加，但同时会随着它在语料库中出现的频率成反比下降。 上述引用总结就
gensim-fast2vec改造、灵活使用大规模外部词向量（具备OOV查询能力）
素质云笔记
05-31 2311
本篇是继 极简使用︱Gemsim-FastText 词向量训练以及OOV（out-of-word）问题有效解决 之后，让之前的一些旧的"word2vec"具备一定的词表外查询功能。 还有一个使用场景是很多开源出来的词向量很好用，但是很大，用gensim虽然可以直接用，如果能尽量节省一些内存且比较集中会更好，同时如果有一些OOV的功能就更好了，于是笔者就简单抛砖引玉的简单写了该模块。 譬如以下这些大...
深度学习中的指标总结
csdn609387481的博客
10-17 1000
对于一个二分类问题，我们定义如下指标： TP：True Positive，即正确预测出的正样本个数 FP：False Positive，即错误预测出的正样本个数（本来是负样本，被我们预测成了正样本） TN：True Negative，即正确预测出的负样本个数 FN：False Negative，即错误预测出的负样本个数（本来是正样本，被我们预测成了负样本） 1.分类： 1）正确率（accuracy） 　　正确率是我们最常见的评价指标，accuracy = （TP+TN）/(P...
NLP 基础之分词、向量化、词性标注
村雨遥
12-07 1669
基于HMM（隐马尔可夫模型）的分词方法 基本部分 状态值序列 B：Begin； M：Middle； E：End； S：Single； 观察值序列 待切分的词； 初始化概率 BMES这四种状态在第一个字的概率分布情况； 状态转移矩阵 HMM中，假设当前状态只与上一状态相关，则此关系可用转移矩阵表示； 条件概率矩阵 HMM中，观察值只取决与当前状态值（假设条件），条件概率矩阵主要建模在BMES下各个...
NLP --- 文本分类（向量空间模型（Vector Space Model）VSM）
进击的菜鸟
12-28 4万+
本节主要介绍文本分类中的一种算法即向量空间模型，这个算法很经典，包含文本预处理、特征选择、特征权值计算、分类算法、这是VSM的几个主要步骤，在宗老师的书里都有详细的讲解，这里也会进行深入的讲解，浅显易懂的是目的，深入理解是目标，下面给出这个VSM模型的方框流程图： 其中分词和词袋的建立我们在前两节进行解释了，这一节将主要介绍特征词选择、文本模型表示（VSM），分类算法的建立。下面就系统的进行...
机器翻译中分词方法--BPE（Byte Pair Encoding）
weixin_45337615的博客
09-27 3364
参考文章：深入理解NLP Subword算法：BPE、WordPiece、ULM 使用API：文章目录前言1.与传统空格分隔tokenization技术的对比2.Byte Pair Encoding (Sennrich et al., 2015)2.1 算法例子2.2 BPE实现2.3 编码和解码实例 前言 Subword算法如今已经成为了一个重要的NLP模型性能提升方法。自从2018年BERT横空出世横扫NLP界各大排行榜之后，各路预训练语言模型如同雨后春笋般涌现，其中Subword算法在其中已经成为标配
自然语言处理基础（1）--基本分词方法
龙王Black的博客
06-19 2835
基本的分词方法包括最大匹配法、最大概率法（最短加权路径法）、最少分词法、基于HMM的分词法、基于互现信息的分词方法、基于字符标注的方法和基于实例的汉语分词方法等。
lambda calculus讲座笔记：类型理论与计算基础
- 笔记详细介绍了无类型λ演算的语法，包括自由变量和绑定变量的概念，以及α转换来处理变量名冲突。此外，还涉及了λ表达式的替换原则，即著名的β-reduction，这是λ演算的核心操作，通过消除应用表达式中的一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值