R语言与自然语言处理 中文分词与标注

原文学习链接

分词

直接分词

cn = “我爱中国”
worker() -> wk
**segment(**cn,wk)
[1] “我” “爱” “中国”

词典

查看路径

show_dictpath()
[1] “C:/Users/comma/Documents/R/win-library/3.6/jiebaRD/dict”

对“user.dict.utf8”这个文件进行更改。
使用记事本打开，然后在最后补上词条。
再来进行分词（不过我们要重新定义worker才能更新）

获取更多词典

下面这一段没有懂。
所以我们知道我们想要更多的词典，得到海量能够跟得上时代发展的词。有什么办法？我认为能够得到大量新词的地方，有两个：1.搜索引擎；2.输入法。搜狗输入法在搜狗词胞库中提供了大量的词典（https://pinyin.sogou.com/dict/），大家可以自由下载。不过下载的文件格式是以“.scel”为后缀的，双击一般就给我们的输入法补充了一个词库，但是没法让我们的jiebaR直接利用。幸好jiebaR的作者为我们提供了转格式工具，能够把scel文件直接转化为.utf8格式的文本文件，从而直接对这些词进行利用。具体内容可以参照https://github.com/qinwf/cidian，这里给出懒人加载的版本。

1p_load(devtools,stringi,pbapply,Rcpp,RcppProgress)
2install