数据挖掘、机器学习与深度学习

数据挖掘

KDD（knowledge discovery in database）

输入数据 - 数据预处理（特征选择、规范化、降低维数、数据提升） - 分析挖掘 - 处理（模式识别、可视化） - 形成可用信息

机器学习

• 多领域交叉学科：概率论、统计学、逼近论、凸分析、计算复杂性理论

相较于数据挖掘，机器学习更加注重算法的设计，实现计算机自动从数据中学习规律

分五大类：

• 监督学习
• 无监督学习
• 半监督学习
• 迁移学习
• 增强学习

传统的机器学习算法：线性回归模型、logistic回归模型、k-临近算法、决策树、随机森林、支持向量机、人工神经网络、EM算法、概率图模型

深度学习

应用于图像识别。语音识别、自然语言处理

loss 的局部极值问题对于深层网络的影响可以忽略不计；