自然语言学习总结

1.自然语言概念

自然语言，即我们人类日常所使用的语言，是人类交际的重要方式，也是人类区别于其他动物的本质特征。
我们只能使用自然语言与人进行交流，而无法与计算机进行交流。

自然语言处理

自然语言处理（NLP Natural Language Processing），是人工智能（AI Artificial Intelligence）的一部分，实现人与计算机之间的有效通信。
自然语言处理属于计算机科学领域与人工智能领域，其研究使用计算机编程来处理与理解人类的语言。

应用场景

自然语言处理，具有非常广泛的应用场景，例如：
•情感分析：从一段文本中提取该文本的感情色彩，是褒义、中性还是贬义
•机器翻译
•文本相似度匹配
•智能客服、聊天机器人

通用技术
•分词：◾将连续的文本，分割成语义合理的若干词汇序列。英文比较好分（本来就有空格，直接使用spilt通过空格分割），中文比较复杂（需要一些库，且库也没有分得比较完美）

•停用词过滤：◾在语文中，句子分为主干（主谓宾）与枝叶（定状补）两部分；停用词：文本中大量存在，但对语义分析没有帮助的词，如“万一下雨呢”删除“万一”、“呢”。

•词干提取：◾指对一个单词去掉后缀，还原为词本身，词干提取主要用在英文等西方语言中，中文没有词干提取。

2、自然语言处理入门基础

数学基础

（1）线性代数

向量、 矩阵、距离计算（余弦距离、欧式距离、曼哈顿距离、明可夫斯基距离、切比雪夫距离、杰卡德距离、汉明距离、标准欧式距离、皮尔逊相关系数）

（2）概率论

随机试验、条件概率、全概率、贝叶斯定理、信息论

（3）统计学

图形可视化（饼图、条形图、热力图、折线图、箱线图、散点图、雷达图、仪表盘）

数据度量标准（平均数、中位数、众数、期望、方差、标准差）

概率分布（几何分布、二项分布、正态分布、泊松分布）

统计假设检验