自然语言处理基本概念
概念:自然语言处理,是让机器理解人的语言的过程。
作用:通过使用自然语言处理,机器可以理解人的语言,从而进行语义分析,例如:从一句话中判断喜怒哀乐;从一段文字中判断是否存在存在诈骗…等等
语义分析和单纯的关键词简单检索有什么区别:
比如:对于a.你吃饭了吗?
b.你?饭?吃?了?吗
,语义分析可以明白这两句话意思大致相同,但是关键词检索大概率无法识别。
原理:基于多层神经网络
如果理解自然语言处理
首先要明白,人类理解一句话是一个什么过程,当人听到一句话的时候,通常通过这段话里的音素(abcd)、词汇,语法,上下文
,所以在自然语言处理中,也需要针对这四个部分进行处理,那这四个过程就被称为:
自然语言处理的四个过程
- Tokenisation 标记化
- Part-of-speech tagging 将部分语音进行标记
- Syntactic Parsing: constituency and dependency 同步解析
- Name Entity Recognition 名称实体识别