NLP = NLU + NLG
- NLU:语音/文本 -> 意思(meaning)
- NLG:意思->文本/语言
Ambiguity(一词多义)
- 今天参加了苹果公司
- 现在正好是苹果季节
怎么接近一词多义
看到前后单词 更新认知
Statistical MT:Three Problems
语言模型(Language Model)
- 给定一句英文e,计算概率(e)
- 如果是符合英文语法的,P(e)会高
- 如果是随机语句,p(e)会低
翻译模型
- 给定一对<c,e>,计算p(c|e)
- 语义相似度高,则p(c|e)高
- 语义相似度低,则p(e|c)低
Decoding AIgorithm
- 给定语言模型,翻译模型和f,找到最优的使得p(e)p(f|e)最大
证明概率
Unigam的是概率 看中心词的对面有多少单词 我需要
自然语言处理技术四个维度
Sermantic(语义)
Syntax(句子结构)
Morphology(单词)
Phonetics(声音)