第一章 机器学习

机器学习

机器学习（Machine Learning, ML）是指从有限的观测数据中学习（或“猜测”）出具有一般性的规律，并利用这些规律对未知数据进行预测的方法。

• 传统的机器学习主要关注如何学习一个预测模型。一般需要首先将数据表示为一组特征（Feature），特征的表示形式可以是连续的数值、离散的符号或其他形式。然后将这些特征输入预测模型，并输出预测结果。
  【这类机器学习可以看作浅层学习（Shallow Learning）,浅层学习的一个重要特点是不涉及特征学习，其特征主要靠人工经验或特征转换方法来抽取。】
• 不同数据的特征构造方式差异很大。
  对于图像这类数据，我们可以很自然地将其表示为一个连续的向量【将图像数据表示为向量的方法有很多，比如直接将一幅图像的所有像素值（灰度值或RGB）组成一个连续向量。】。而对于文本数据，因为其一般由离散符号组成，并且每个符号在计算机内部都表示为无意义的编码，所以通常很难找到合适的表示方式。
• 实际任务中使用机器学习模型一般包含以下步骤：

（1）数据预处理：经过数据的预处理，如去除噪声等。
【比如在文本分类中，去除停用词等。】
（2）特征提取：从原始数据中提取一些有效的特征。
【比如在图像分类中，提取边缘、尺度不变特征变换（Scale Invariant Feature Transform, SIFT）特征等。】
（3）特征转换：对特征进行一定的加工，比如降维或升维。
【降维包括特征抽取（Feature Extraction）特征选择（Feature Selection）两种途径。常用的特征转换方法有主成分分析（Principal Components Analysis, PCA）、线性判别分析（Linear Discriminant Analysis, LDA࿰