CS224d lecture 01 学习笔记
1.NLP levels
语音 文本
语音分析 文本识别
对单词结构的形态分析
句法分析
语义理解:大部分利用上下文来理解
2.NLP applications
(1)拼写检查、关键字搜索、同义词联想等
(2)信息抽取、情感分析等
(3)机器翻译、对话系统、问答系统等
3.自然语言
自然语言是传递信息的,离散、符号化、分类的符号体系。
自然语言处理难在:
(1)人类语言模棱两可
(2)多省略
4.深度学习+NLP
进展:
(1)各种语言学层次:词汇学、句法学、语义学。
(2)工具和算法:词性标注、实体识别、分词。
(3)应用:机器翻译、情感分析、对话助手、问答系统。
深度学习模式运用同样的一套工具和技术,非常统一的方法,解决各个领域的问题。有一套很小的核心工具箱,以很高的准确性解决各种问题。
5.词汇->向量
深度学习和语言,都以词义为起点。
词义->数字向量(高维)
深度学习学习单词向量,把单词放到高维向量空间 =>语义空间(具有相似含义的词汇在矢量空间中形成聚集块)
向量空间存在方向,显示了单词向量成分和意义的信息。
6.Details
1.形态分析
- 传统方法:将复杂单词看做由更小单元的词素组成
- DL:将单词的成分看成代表单词部分含义的各个向量,再创建一个神经网络,用小块单元构建更大的意义单元。
2.神经网络能准确找出句子结构,发现句法停顿处。
3.语义分析
- 传统方法:Lambda 演算(基于微积分的语义理论),对每个单词手动地赋予语义函数,再用算法将词汇意义结合,获得一种语义表达。
- - DL:以向量表示单词->短语->更长的短语->句子的含义
-