NLP概念
- 包括NLU(understand理解)和NLG(generation生成)
- 举例:机器翻译系统架构
语法通顺性、正确性- 分两步考虑
【1.分词(粗略的解决方案)】—>【排列组合】—>【2.选最合适句子,用到选择器即LM语言模型(过滤后期处理)】“通过语言模型可以判断是不是人话”两步先后分开考虑,导致时间复杂度指数级分别找出p(c|e)和p(e) - 两步同时考虑
解决时间复杂度Decoding算法,算法核心是动态规划DP找出最优P(e) p(c|e) 最大 - 总结
- 分两步考虑
- 语言模型
- 好的语言模型
能够判断出哪句话概率更大 - 怎么计算联合概率
独立时:只考虑单词本身,每个变量看做独立的变量,那么概率是独立条件的概率之积一维关系时:每次考虑单词时还要考虑他前面的一个单词更长序列关系时:每次考虑单词时还要考虑他前面更多单词 - 核心在于不知道每个单词的概率以及条件概率
LM就是帮我们计算获得所需要的每个的概率以及条件概率
- 好的语言模型
- 举例:推荐系统
淘宝推荐系统,只需要近期浏览记录推测需要什么而不需要好几年前的…马尔可夫假设