笔记-2007-基于有效子串标注的中文分词

最新推荐文章于 2024-08-17 00:18:52 发布
最新推荐文章于 2024-08-17 00:18:52 发布
阅读量414 收藏
点赞数
分类专栏： NLP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xiuchixc/article/details/8153774
版权

基于有效子串标注的中文分词
作者：赵海，接春雨
单位：香港城市大学-
出处：中文信息学报，2007年，21卷，5期，8-13页

本文主要是确定什么做子串；特征6Tag:B,B2,B3,M,E,S；仅CRF结果

评价数据：Sighan bakeoff 2005；CityU,MSRA,最好结果0.952,0.974。

步骤：

1 从训练语料中得到词典，高于某个频率的进入子串词典；
2 子串词典对训练语料FMM
3 子串的切分不可产生分词歧义（与2006年Ruiqiang Zhang的文章Subword-based的优势就是这个）
4 子串必须是最小子串

alicexc++
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
文本挖掘(part2)--分词
小山羊的学习日志
11-25 426
学习笔记，仅供参考，有错必纠 文章目录分词分词原理简介分词算法的分类基于字符串匹配的分词算法原理分词的难点常见的分词工具结巴分词的基本用法修改词典动态增删新词使用自定义词典搜狗细胞词库去除停用词常见的停用词种类去除停用词的步骤用`extract_tags`函数去除停用词词性标注词频统计使用Pandas统计使用NLTK统计 分词 分词原理简介 分词算法的分类 基于字符串的匹配 即扫描字符串，如果发现字符串的子串和词相同，就算匹配。 通常会加入一些启发式规则，比如正向/反向最大匹配，长词优先等 优
中文分词 基于字标注法的分词
bigdollar的博客
09-11 3294
def word2features(sent ,i): sent = ''.join([w for w, t in sent]) sent = '##' + sent + '##'#在文章首尾均填充 i += 2 features = [ 'cur_word=' + sent[i],#当前字符 'word_pre1=' + sent[...
NLP学习笔记 01 分词、词性标注和关键词提取
NgCafai的博客
12-17 3092
1.1 准确分词part1 提高分词准确性： 加载自定义词典 使用正则表达式 在hanlp中加入自定义词典，首先在/ hanlp / data / dictionary / custom / 目录下，创建词典（txt格式），每一行代表一个单词，格式遵从[单词] [词性A] [A的频次] [词性B] [B的频次] ... 如果不填词性则表示采用词典的默认词性。 在统计分词中，并不保证自定义词典中...
NLP基础笔记1——中文分词技术
IOT_victor的博客
02-20 1410
一、简介 中文分词(Chinese Word Segmentation) 指的是将一个汉字序列切分成一个一个单独的词。分词就是将连续的字序列按照一定的规范重新组合成词序列的过程。 中文分词是其他中文 (信息) 处理的基础，搜索引擎、机器翻译（MT）、语音合成、自动分类、自动摘要、自动校对等等，都需要用到分词。 目前主流分词方法：基于规则，基于统计以及二者混合。 基于规则的分词：主要是人工建...
NLP学习笔记(九) 分词(上)
半虹小站
02-22 919
大家好，我是半虹，这篇文章来讲分词算法
阅读笔记--NLP面试基础知识总结
HAH--M的博客
01-02 2480
如果我可以把今世的记忆带到以后，我会告诉我下一世的继任者去学数学。但是他可能又是一个不愿意学习的小傻瓜，或许三年级的时候还是会考各种0分。是呀，0分也是回忆，那时怎么会晓得走到现在，今后又晓得会去往何处。但是…，谁又会到全局最优解呢？我在这里，我不知道人生接下来会给我怎样的惊吓和惊喜，我现在处在的地方可能就是局部最优解吧！ 一、深度学习和机器学习的区别 数据相关性: 深度学习与传统机器学习最重要的区别是，随着数据量的增加，其性能也随之提高。当数据很小的时候，深度学习算法并不能很好地执行，这是因为深度学习.
科普文：敏感词和贝叶斯中文分词
最新发布
为无为，事无事，味无味。
08-17 965
南京市长江大桥欢迎你原来还可以这样念南京市长江大桥欢迎您：分词。中文分词：jieba分词、IK分词。 1、基于trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图DAG； 2、采用动态规划查找最大路径、找出基于词频的最大切分组合。 3、对于未登录词，采用了基于HMM或者最大熵模型等来实现分词。
基于Python的中英文分词基础：正则表达式和jieba分词器
weikai_w的博客
09-01 6555
基于Python的中英文分词基础：正则表达式和jieba开场白正则表达式jieba分词器 正则表达式 jieba分词器
自然语言处理训练营NLP--笔记
skysenlin的专栏
12-24 7235
任务010： 简单的复杂度的回顾 任务011：归并排序：merge sort（归并） Divide and conquer—分治算法(category 属于这个范畴) A=[3,4,1,6,7,2,5,9] 目标：sort(A) 步骤： 1、将数组分成两部分 2、针对每部分排序 3、对前后两部分对比后排序 归并排序的时间复杂度是O(n logn) #merge and sort import numpy import pandas a=list(numpy.random.r...
基于有效子串标注的中文分词
02-05
### 基于有效子串标注的中文分词 #### 概述 中文分词作为自然语言处理领域的一个重要组成部分，在近年来取得了显著的进步。尤其是在2003年国际中文分词评测活动(Bakeoff)举办之后，基于字标注的统计学习方法受到了...
电子政务-带电更换塔型绝缘子串的直线卡具.zip
09-16
《电子政务-带电更换塔型绝缘子串的直线卡具》 电子政务，全称为电子化政府服务，是利用现代信息技术，特别是互联网技术，来改革和优化政府管理和服务的一种方式。这一领域的应用旨在提高政府工作效率，提升公共...
JohnJeep#Learning-CS-Journey#3-无重复字符的最长子串1
07-25
题解C++版本实现// 记录最长无重复子串的长度// 指向该无重复子串左边的起始位置的前一个// 判断当前字符是否在HashMap中已存在// 若当前字符已在H
数据结构实验报告5-串-基于改进KMP算法的子串查代与替换-实验内容及要求.docx
07-06
KMP算法（Knuth-Morris-Pratt算法）是一种高效的字符串匹配算法，相较于朴素的字符串匹配方法，它能够有效减少不必要的比较次数，从而提高查找效率。 #### 实验内容 实验的具体任务是从键盘输入一个主串s以及两个...
DoWalle#algo#3-[模版题]-无重复字符的最长子串1
07-25
3. 无重复字符的最长子串方法：滑动窗口模版题// 右边届入窗口// 左窗口收缩，只有右边届的引入，才可能导致字符重复// 此时窗口内的每个字符都只有一个，记录
SIGHAN评测回顾-1-(2003-2005)
++
06-21 5619
这2篇blog是对SIGHAN2003-2010中文分词任务中使用的方法的简要概述，不详细不精确，个别数据可能有一定的错误。写此blog目的是为方便以后查看。各个方法的具体细节应该参看原始论文。         国际中文自动分词评测（简称SIGHAN[1]评测）采用多个由不同机构提供的数据集合进行评测[2]。每个机构提供的数据集都包含训练语料、测试语料和标准答案，参评者可以自由选择一种或者多种参
SIGHAN评测回顾-2-(2006-2010)
++
06-21 4699
这2篇blog是对SIGHAN2003-2010中文分词任务中使用的方法的简要概述，不详细不精确，个别数据可能有一定的错误。写此blog目的是为方便以后查看。各个方法的具体细节应该参看原始论文。 表 1-3  2006年Bakeoff评测结果 Table 1-3 Result of Bakeoff 2006 任务 最高分队伍 最高分第一作者
常用被引用文献 MIRA CRF
++
08-12 3449
MIRA （Margin Infused Relaxed Algorithm ）一种超保守在线算法, 在分类、排序、预测等应用领域取得不错成绩 理论 Koby Crammer. 2004. Online Learning of Com-plex Categorial Problems. Hebrew Univeristy of Jerusalem, PhD Thesis 2005.
Twitter-LDA （只是为了mark）
++
02-06 2169
只是为了mark 样例code用（java）： https://github.com/minghui/Twitter-LDA stop word 很重要，把长尾的词加进来  alpha_g参数一般=50/ k, 其中k是你选择的topic数
字符串函数-从字符串中查找子串
04-04
在Python中，可以使用字符串方法find()和index()来查找子串。 find()方法返回子串在原字符串中第一次出现的位置，如果子串不存在，则返回-1。 语法：string.find(substring, start, end) 其中，substring为要查找...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值