分词
Jeu
本科阶段专业是光信息科学与技术,研究生阶段课题是目标跟踪算法的研究,毕业后从事nlp相关领域的工作,包括对话系统、摘要生成、实体识别等
展开
-
5、分词算法
1、正向最大匹配:已有字典,最长词长度为m,判断当前位置i到i+m中存在的最长的词2、反向最大匹配:相反3、双向最大匹配:正向和逆向同时进行,取效果最好的,效果最好的评价标准是:分词结果词的数量少,单个字少4、HMM分词。自己之前写过,就是隐马尔可夫过程,原地址贴过来了https://blog.csdn.net/cuipanguo/article/details/82114083...原创 2019-12-25 20:13:53 · 353 阅读 · 0 评论 -
简单粗暴python3.几安装pyltp库,不要相信那些乱七八糟的了!!!!
参考了这个哥们的,谢啦!我又补充了两点!!!1、安装wheel 下面两个文件针对不同的python版本下载一个即可pyltp-0.2.1-cp35-cp35m-win_amd64.whlpyltp-0.2.1-cp36-cp36m-win_amd64.whlhttps://download.csdn.net/download/qq_22521211/10460778 可下载...原创 2018-12-10 19:02:13 · 9054 阅读 · 41 评论 -
java日常学习三:配置文件的读取
格式:<root> <intent_pattern> <question intent="age" user="C">年[龄纪]|多大(?!面积)|岁</question> </intent_pattern> <tags> ...原创 2019-04-10 10:56:11 · 162 阅读 · 0 评论 -
Lattice LSTM
Lattice LSTM由于中文的实体一般都是由词语组成的,所以分词与NER在中文领域具有很强的相关性,一般操作是先分词,再做词序列标注。很明显的,分词错误会导致ner的错误,尤其在开放领域,跨领域分词仍然是一个难题。简单来说Lattice LSTM是利用字符作为输入的基础上,加上了分词的信息,就这样,没了,具体怎么加的,看一下文章接下来来讲1、文章首先介绍了关于中文的两种实体识别的方...原创 2019-09-18 16:50:40 · 10013 阅读 · 6 评论