【NLP学习过程记录 | 一.概念及案例】

NLP概念

• 包括NLU(understand理解)和NLG（generation生成）
• 举例：机器翻译系统架构
  语法通顺性、正确性
  • 分两步考虑

    

    
    【1.分词（粗略的解决方案）】—>【排列组合】—>【2.选最合适句子，用到选择器即LM语言模型（过滤后期处理）​】“通过语言模型可以判断是不是人话​”两步先后分开考虑，导致时间复杂度指数级​分别找出p(c|e)和​p(e)
  • 两步同时考虑

    

    
    解决时间复杂度Decoding​算法，算法核心是动态规划DP​找出最优P(e) p(c|e) 最大
  • 总结

    

• 语言模型

  

  • 好的语言模型
    能够判断出哪句话概率更大
  • 怎么计算联合概率

    

    
    独立时：只考虑单词本身，每个变量看做独立的变量，那么概率是独立条件的概率之积一维关系时：每次考虑单词时还要考虑他前面的一个单词更长序列关系时​​​：每次考虑单词时还要考虑他前面更多单词​
  • 核心在于不知道每个单词的概率以及条件概率

    

    
    LM就是帮我们计算获得所需要的每个的概率以及条件概率
• 举例：推荐系统

  

  
  淘宝推荐系统，只需要近期浏览记录推测需要什么而不需要好几年前的…马尔可夫假设​