吴军老师《数学之美》读书笔记

自然语言处理模型的演化–第2、3章

问题：机器能否懂得自然语言？
图灵测试
Alan Turing, “Computing machinery and intelligence”, Mind LIX, 1950
让机器习得规则（1960s）
语法规则(Grammar Rules)
词性(Part of Speech)
构词法(Morhpologic)
成果
词汇表100以内，长度个位数
局限
句法分析树解析多重从句的复杂度瓶颈
语法间的矛盾
计算机难以解析

从规则到统计
统计语言学（1970）
关键人物：弗里德里克.贾里尼克(Frederick Jelinek)和IBM华生实验室(T.J.Watson)
规则模型与统计模型的15年争论

统计语言模型
用概率来描述
P(S)=P(w1,w2,…wn)
条件概率描述
P(w1,w2,…wn)=P(w1)*P(w2|w1)*P(w3|w1,w2)…P(Wn|w1,w2,…wn-1)
马尔科夫假设
根据大数定理估计概率
P(wi)=#(wi)/#
成果
李开复简化语音识别 1980s
Google机器翻译项目罗塞塔(Rosetta)
Google机器对话从“是什么”到“为什么”

高阶语言模型
N阶马尔科夫假设
小概率事件/罕见词汇
古德图灵估计(Good-Turing Estimate)

感悟
数学的