![](https://img-blog.csdnimg.cn/20201014180756918.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
中文分词
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
中文分词之jieba分词
分词粒度:粗粒度、细粒度推荐场景:粗粒度搜索场景:细粒度——召回1.最基本的切词方法:trie树匹配:前向、后向,举例:2.dag(有向无环图),举例:3.每种切分方案的概率计算:贝叶斯公式:贝叶斯公式推导:目标:P(S|C) = P(S)因为:P(S|C) P(C)=P(S,C)P(C|S) P(S)=P(C,S)所以:P(S|C) P(C)=P...原创 2019-02-28 12:03:04 · 1538 阅读 · 0 评论 -
中文分词之隐马尔可夫模型
隐马尔可夫模型理论知识:角色:收拾烂摊子的角色1) 生成方式2) 路径选择(viterbi算法)——>动态规划上篇文章讲到语言模型(1,2,3)二元语言模型 == 一阶马尔科夫模型马尔科夫模型有3类重要参数:1、状态2、初始概率初始概率计算方法举例: 假设有100篇文章, 时光荏苒 30篇 -> 30 / 100 今天 10篇...原创 2019-03-01 09:27:54 · 2360 阅读 · 0 评论