自然语言处理——基本概念

NLP基本概念

what is NLP?

NLP=NLU+NLG
NLU:语音/文本——>意思（meaning）
NLG:意思——>语音/文本

why NLP is harder?

1. Multiple Ways to express
2. Ambiguity:learning from data

机器翻译

language Model

判断一句话是不是人话

NLP的应用场景

1. Question Answering(问答系统)
   

2. Sentiment Analysis（情感分析）
   
   

3. Machine Translation(机器翻译)

4. Text Summarization(自动摘要)

5. chabot(聊天机器人)

6. information Extraction(信息抽取)

NLP的关键技术

自然语言处理技术四个维度

1. Semantic(语义)
2. Syntax(句子结构)
3. Morphology(单词)
4. Phonetics(声音)

Word Segmentation(分词)
Part-of-Speech(词性)
Named Entity Recognition(命名实体识别)
Parsing(句法分析)
Dependency Parsing(y依存分析)
Relation Extraction(关系抽取)