自然语言处理初步
一 句子理解
1 分词与分句
中文语言特有的需求(分词)
2 词性识别
3 命名实体识别
命名实体识别结果: 人名,地名,机构名等的识别。
4 依存句法分析
约束性公理:
- 只有一个root, 不依存于其他词。
- 其他词必须依存别人。
- 词不能依存多个
- A 依存于B, A 和B 直接的单词C 只能A B或者AB 之间的其他词。
5 序列标注
1 贝叶斯图
2 马尔可夫图
马尔科夫图
最大团 的联合概率
1 条件随机场
2 最大团
3 边缘分布
4 条件概率
二 主题模型
有监督模型
无监督模型
LSA
PLSA
LDA
• 问题
• 我们并不知道
• 解决方案
• EM算法
• 变分贝叶斯
• 采样