What's NLP？

NLP = NLU + NLG

          NLU: Natural Language Understanding，语音/文本   ——>  意思(meaning)

          NLG:Natural Language Generation，meaning——> 语音/文本

Why NLP is harder（i.e. than computer vision）?

          The challenge：Multiple ways to express        同一语义多种表达方式

                                      Ambiguity           一词多义            

How to solve ambiguity？

           Learning from data

                     初级：只根据该词多种含义的统计分布来判定语义

                     中级：结合前后语境和统计分布          Data——>更新认知

Case： Machine Translation

           “今天的课程有意思”       ——> 分词            今天/的/课程/有意思

                                                                                                    ——>查词典       today of course interesting

                                                                                                                                  of today intersting course

                                                                                                                                  interesting of today course

                                                                                                                              ——>LM（语言模型）  找到概率最大的组合

            存在的问题：复杂度大

NLP技术的4个维度：

             Phonetics(声音)

             Morphology（单词）：分词，POS（词性标注），NER

             Syntax（句子结构）：句法分析, 依存分析

             Semantic（语义）：机器翻译、摘要