自然语言处理基础

NLP = NLU + NLG

- NLU:语音/文本 -> 意思(meaning)

- NLG:意思->文本/语言

Ambiguity(一词多义)

• 今天参加了苹果公司
• 现在正好是苹果季节

怎么接近一词多义

 

 看到前后单词  更新认知

 

Statistical MT:Three Problems

语言模型（Language Model）

• 给定一句英文e，计算概率(e)
• 如果是符合英文语法的，P(e)会高
• 如果是随机语句,p(e)会低

翻译模型 

• 给定一对<c,e>,计算p(c|e)
• 语义相似度高，则p(c|e)高
• 语义相似度低，则p(e|c)低

Decoding AIgorithm

• 给定语言模型，翻译模型和f，找到最优的使得p(e)p(f|e)最大

 

证明概率

 

Unigam的是概率  看中心词的对面有多少单词  我需要

 自然语言处理技术四个维度

Sermantic(语义)

Syntax(句子结构)

Morphology(单词)

Phonetics(声音)