机器学习基础

机器学习概念

定义

• 机器学习(Machine Learning, ML)主要研究计算机系统对于特定任务的性能，逐步进行改善的算法和统计模型。
• 通过输入海量训练数据对模型进行训练，使模型掌握数据所蕴含的潜在规律，进而对新输入的数据进行准确的分类或预测。
• 是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸优化、算法复杂度理论等多门学科。专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。

机器学习过程

机器学习主要分类

无监督学习

• 无监督学习(Unsupervised Learning)算法采用一-组仅包含输入的数据，通过寻找数据中的内在结构来进行样本点的分组或聚类。
• 算法从没有被标记或分类的测试数据中学习。
• 无监督学习算法不是响应反馈，而是要识别数据中的共性特征;对于-个新数据，可以通过判断其中是否存在这种特征，来做出相应的反馈。
• 无监督学习的核心应用是统计学中的密度估计和聚类分析。

监督学习

• 监督学习(Supervised Learning)算法构建了包含输入和所需输出的一组数据的数学模型。这些数据称为训练数据，由- -组训练样本组成。
• 监督学习主要包括分类和回归。
• 当输出被限制为有限的- -组值(离 散数值)时使用分类算法;当输出可以具有范围内的任何数值(连续数值)时使用回归算法。
• 相似度学习是和回归和分类都密切相关的一类监督机器学习，它的目标是使用相似性函数从样本中学习,这个函数可以度量两个对象之间的相似度或关联度。它在排名、推荐系统、视觉识别跟踪、人脸识别等方面有很好的应用场景。

监督学习深入理解

监督学习三要素

• 模型：总结数据的内在规律，用数学函数描述的系统
• 策略：选取最优模型的评价准则
• 算法：选取最优模型的具体方法

监督学习实现步骤

• 得到一个有限的训练数据集
• 确定包含所有学习模型的集合
• 确定模型选择的准则，也就是学习策略
• 实现求解最优模型的算法，也就是学习算法
• 通过学习算法选择最优模型
• 利用得到的最优模型，对新数据进行预测或分析

模型评估策略

• 模型评估

1. 训练集和测试集
2. 损失函数和经验风险
3. 训练误差和测试误差

• 模型选择

1. 过拟合和欠拟合
2. 正则化和交叉验证