Tasks 2-机器学习基础

Task 2 - 机器学习基础

参考链接：https://datawhalechina.github.io/unusual-deep-learning/#/

1. 基本概念

机器学习的定义：专门研究计算机怎样模拟或实现人类的学习行为，以获取新的知识或技能，重新组织已有的知识结构使之不断改善自身的性能。具体来说，从已知数据中学习内在规律，进而对未知数据进行预测。

机器学习的分类：

监督学习的常见方法包括分类和回归；无监督学习的常见方法包括聚类和降维。

数据集的定义：观测样本的集合，其数学表示 S = { x 1 , x 2 , . . . , x n } S=\{x_1, x_2, ..., x_n\} S={ x1​,x2​,...,xn​}，其中$x_i$是一个m维的向量，表示一个数据样本，m表示样本空间维度。

数据样本的分类：

• 训练集：用来训练模型的样本集合；
• 验证集：用来调整模型的超调参数和模型性能初步评估的样本集合；
• 测试集：用来评估模型最终的泛化能力，不能用来调整模型和训练超调参数
  

误差分析

误差是算法实际预测与样本真实值之间的差距。

过拟合：是指模型能够很好拟合训练样本数据，但对测试样本预测不佳；
欠拟合：是指模型未能很好地学习数据特征，训练出的模型简单，对训练样本数据预测都不好。

过拟合的对策：

1. 增加训练样本
2. 减少模型复杂度
3. 加入正则化项

欠拟合的对策：

1. 寻找表征能力更强的特征
2. 增加特征数量
3. 更好复杂更高的模型

交叉验证
K折交叉验证：训练集随机划分为K份，每次采用其中K-1份作为训练集， 另外一份作为验证集，在训练集上训练模型并用该验证集计算误差。

2. 监督学习

监督学习的数据集中每个样本由其特征向量和标记组成，其数学表达式为 S = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . ( x n , y n ) } S = \{(x_1, y_1), (x_2, y_2), (x_3, y_3), ... (x_n, y_n)\} S={ (x1​,y1​),(x2​,</