Task 2 - 机器学习基础
参考链接:https://datawhalechina.github.io/unusual-deep-learning/#/
1. 基本概念
机器学习的定义:专门研究计算机怎样模拟或实现人类的学习行为,以获取新的知识或技能,重新组织已有的知识结构使之不断改善自身的性能。具体来说,从已知数据中学习内在规律,进而对未知数据进行预测。
机器学习的分类:
监督学习的常见方法包括分类和回归;无监督学习的常见方法包括聚类和降维。
数据集的定义:观测样本的集合,其数学表示 S = { x 1 , x 2 , . . . , x n } S=\{x_1, x_2, ..., x_n\} S={ x1,x2,...,xn},其中 x i x_i xi是一个m维的向量,表示一个数据样本,m表示样本空间维度。
数据样本的分类:
- 训练集:用来训练模型的样本集合;
- 验证集:用来调整模型的超调参数和模型性能初步评估的样本集合;
- 测试集:用来评估模型最终的泛化能力,不能用来调整模型和训练超调参数
误差分析
误差是算法实际预测与样本真实值之间的差距。
过拟合:是指模型能够很好拟合训练样本数据,但对测试样本预测不佳;
欠拟合:是指模型未能很好地学习数据特征,训练出的模型简单,对训练样本数据预测都不好。
过拟合的对策:
- 增加训练样本
- 减少模型复杂度
- 加入正则化项
欠拟合的对策:
- 寻找表征能力更强的特征
- 增加特征数量
- 更好复杂更高的模型
交叉验证
K折交叉验证:训练集随机划分为K份,每次采用其中K-1份作为训练集, 另外一份作为验证集,在训练集上训练模型并用该验证集计算误差。
2. 监督学习
监督学习的数据集中每个样本由其特征向量和标记组成,其数学表达式为 S = { ( x 1 , y 1 ) , ( x 2 , y 2 ) , ( x 3 , y 3 ) , . . . ( x n , y n ) } S = \{(x_1, y_1), (x_2, y_2), (x_3, y_3), ... (x_n, y_n)\} S={ (x1,y1),(x2,</