NLP with DL------Lecture 1

1. 什么是NLP?
   

   • NLP是computer science、artificial intelligence 和linguistics的交叉学科。
   • 目标是让计算机理解人类语言。
   • 完全理解和表示语言的意思是一个困难的目标
   • 完美的语言理解是完全的AI
   • NLP Level
     
     
     
2. NLP 应用
   
   • Spell checking,keyword search、find synonyms(同义词）
   • Extracting information
   • Classifying:reading level of school text,文档情绪正负
   • 机器翻译
   • 对话系统
   • 复杂的问答系统
3. NLP在工业界的应用
   
   • search(written and spoken)
   • 在线广告匹配
   • 自动/（辅助）翻译
   • 对市场/金融（交易）的情感分析
   • 语音识别
   • 对话系统
     
4. 人类语言有何特殊？
   
   • 人类语言是特定构建的用来传达speaker/writer 意思的系统。
   • 人类语言是离散的、抽象的、绝对的发送信号的系统。
   • 语言的符号可以通过以下方式被编码作为交流的信号：声音，手势，writing/images
     
5. 什么是深度学习？
   
   • 深度学习是机器学习的一个子领域
   • 大多数机器学习方法效果好是因为人设计表示和输入特征
   • 机器学习仅仅是通过优化权重来取得好的预测效果
   • 深度学习与标准的机器学习不同
   • 表示学习尝试自动的学习出好的特征和表示
   • 深度学习算法试图学习中间的表示和输出
6. 发展深度学习的原因
   
   • 手工设计特征是不完全的并且需要浪费时间去设计和验证
   • 学习的特征容易采用并且快速学习
   • 深度学习提供灵活的，普遍的可学习框架对于单词、视觉和语言信息的表示
   • 深度学习可以进行无监督和有监督的学习
   • 大量数据、更快的机器和多CPU/GPU支持深度学习
   • 更好的方法、算法、idea
7. Deep learning for Speech
   
   • 深度学习的第一个重大突破是在“语音识别”方面
   • 深度学习小组的第一个关注方面在“计算机视觉”
8. 先觉条件
   
   • 熟悉python -----所有的任务都用python来完成
   • 多元微积分，线性代数
   • 基本概率和统计知识
   • 机器学习的基础（包括损失函数，简单的求导，用梯度下降进行优化）
9. What do we hope to teach?
   
   • 理解和使用有效的现代化方法进行深度学习：（基本知识，NLP中的重要方法（RNN,attention))
   • 人类语言的理解和理解中的困难
   • 针对NLP的一些主要问题，使用TensorFlow建立系统
     
10. 为什么NLP很难？
    
    • 在表示、学习和使用语言的/情境的/上下文的/世界的/视觉的知识很复杂
    • 人类语言有时是模棱两可的
11. Deep NLP=Deep Learning+NLP
    
    • 结合NLP的思想和目标使用解释学习和深度学习的方法去解决他们
    • 最近几年NLP的大的进步：
      （1）语言层面：word,syntax,semantics
      （2）中间的任务/工具：parts-of-speech,entities,parsing
      （3）全面应用：语义分析，问答，对话，机器翻译
    
    
12. NLP级别的表示：Morphology(形态）
    
    • Traditional :word are made of morphemes
      
    • DL
      (1）every morphology is a vector
      (2)一个神经网络combines two vectors into one vector
    
    
13. Representations of NLP Levels: Semantic
    
    • Traditional：Lambda calculus
      (1)carefully engineered functions
      (2)take as inputs specific other functions
      (3)没有语言相似和模糊的概念
      
    • DL
      （1）每一个单词、词组或逻辑表达都是一个向量
      
14. NLP应用：语义分析
    
    • Traditional：将句子作为bag-of-word，查询正负词汇表决定句子的情感。需要手动设计特征
    • 同一个DL模型可以用于morphology,syntax,and logical semantics(RNN)
      
15. 问答
    
    • Traditional:大量的特征工程去获取world和其他的知识。
    • DL:事实用向量来存储
16. 对话代理
    
    • 一个简单的，成功的例子是Google的Inbox app