一、概念
1.机器学习是一种通过先验信息来提升模型能力的方式。
即从数据中产生“模型”( model )的算法,然后对新的数据集进行预测。
2.数据集(Dataset):所有数据的集合称为数据集。
训练集:用来训练出一个适合模型的,相当于人预习用的数据集。
验证集:相当于游戏的内测玩家。
测试集:用来测试训练的模型对不对的数据集。
3.样本(Sample):数据集中 每条记录 称为样本。
4.属性(Attribute)或特征(Feature):每个样本 在某方面 的 表现或性质。
5.特征向量(Feature Vector):每个样本的特征 对应的特征空间中的一个坐标向量。
6.分类(Classification):使用计算机学习出的模型进行预测得到的是离散值。
(1)人话:你是人,他是狗。
(2)有二分类和多分类之分。
7.回归(Regression):使用计算机学习出的模型进行预测得到的是连续值。
8.聚类(Clustering):对无标签样本的相似度进行度量,挖掘特征、结构、内在性质,使类内相似度大,类间相似度小。
(1)人话:物以类聚,一样的放一块。
(2)与分类的区别:
a.分类是有监督,聚类是无监督(更diao)
b.聚类只要求相似度高的放一块,而分类则要求分到预定义的类别或标签。
9.输出结果(预测值)与其对应的真实值之间往往会存在一定的差异,这种差异被称为模型的输出误差,简称为误差。
(1)人话:误差=预测值-真实值 (正负先不管)
(2)分三种:
a.训练误差或称经验风险——指模型在训练样本集上的整体误差
b.测试误差——模型在测试样本集上的整体误差
c.泛化误差——测试集的泛化能力,泛化就是举一反三,就是白人是人,黑人也是人。
11.机器学习的分类
(1)监督学习:人为干涉让模型更完美
分类:逻辑回归、决策树、KNN、随机森林、支持向量机、朴素贝叶斯
数字预测:线性回归、KNN、梯度提升(Gradient Boosting)、迭代算法(AbaBoost)
(2)非监督式学习:不管机器,让他自己来
典型例子:聚类算法
(3)半监督学习:人为干涉一点点,大部分让机器来,这是三者中最晚诞生的,自己掂量掂量。
(4)强化学习:与环境建立联系,然后各个动作产生的结果进行反馈(奖励或惩罚)。
12.机器学习的步骤:
数据收集+预处理(数据清洗)—— 特征选择+模型构建 —— 评估+测试
(1)模型构建的相关过程:
a. 建立训练数据集和测试数据集,通常80%为训练数据集,但默认测试集取0.25。
b. 选择机器学习算法
c. 模型调优
d. 模型融合
二、泛化能力(重点)
1.过拟合(如图2):就是过度拟合,猿猴不是人,但是非得说是人。
2.欠拟合(如图1):就是不拟合,黑人是人,但是非得说黑人不算人。
3.过拟合的解决方法:
(1)减少模型复杂度。
(2)增加训练数据的数量和多样性:可以通过旋转、平移、缩放、添加噪声等方法生成新的训练样本。这样可以帮助模型更好地泛化到未知数据,并减少在训练数据上的过拟合。
(3)正则化:在损失函数中加入正则化项,如 L1 正则化或 L2 正则化。
可以正则化其中惩罚模型的复杂性,防止权重过大,从而减少模型在训练数据中学习到的噪音和细节。
4.解决欠拟合的方法:
(1)增加模型复杂度,增加训练数据。
(2)特征工程:
添加更多的特征或进行特征转换,以帮助模型更好地捕捉数据中的模式和关系。
(3)减少正则化:
如果模型使用了过多的正则化,可能导致模型在训练数据上表现较差。可以调整正则化的强度或者选择不同类型的正则化方法。
三、习题
单选题:
1.构建一个完整的机器学习算法需要三个方面的要素,分别是数据、模型和(D )。
A、评估 B、验证 C、训练和验证 D、性能度量准则
3. 以下属于典型的监督学习的是(C )
A、聚类 B、关联分析 C、分类 D、降维
4. (A )是指机器学习算法对新鲜样本的适应能力。
A、泛化能力 B、测试能力 C、识别能力 D、训练能力
5. 欠拟合是指(C )
A、在训练集表现非常好,但在测试集上表现很差
B、在训练集表现非常好,但在测试集上表现也非常好
C、在训练集表现非常差,但在测试集上表现很差
D、在训练集表现非常差,但在测试集上表现非常好
6. 如果我使用训练集的全部特征并且能够达到100%的准确率,但在测试集上仅能达到70%左右,这说明(B )
A、欠拟合 B、过拟合 C、模型很棒 D、模型不确定
18. 以下属于典型的无监督学习的是(C )
A、支持向量机
B、k-近邻算法
C、降维
D、逻辑回归
19. 下列关于过拟合的说法错误的是(A )。
A、模型的训练误差比较高,则称此分类模型过拟合。
B、可以通过选取具有代表性样本的训练样本集来解决过拟合问题。
C、模型的训练误差低但是泛化误差比较高,则称此分类模型过拟合。
D、可以通过预剪枝,避免决策树规模过大产生过拟合。
多选题:
1. 根据样本集合中是否包含标签以及半包含标签的多少,可以将机器学习分为(ABD )
A、监督学习 B、无监督学习 C、迁移学习 D、半监督学习
2. 以下属于解决模型过拟合的方法的是(ABD )
A、增加训练数据量 B、对模型进行裁剪 C、增加训练过程的迭代次数 D、正则化
3. 聚类的宗旨是(BD )
A、类内距离最大化 B、类间距离最大化 C、 类间距离最小化 D、类内距离最小化
6. 机器学习中,通常将数据集划分为(ABC )
A、训练集 B、验证集 C、测试集 D、对照集
判断题:
1. 根据模型预测输出的连续性,可以将机器学习算法适配的问题划分为分类问题和线性问题。(F )
答:回归
2. 降维、聚类是无监督学习算法。(T )
3. 当我们说模型训练结果过拟合的时候,意思是模型的泛化能力很强(F )
答:弱
4. 训练误差和泛化误差之间的差异越小,说明模型的泛化性能越好。(T )
17. 特征提取是指对现有特征进行重新组合产生新的特征,例如相对于年龄,出生年月就是冗余特征。(F )
答:从原始数据中抽取出新的特征
19. 聚类的目的是对样本集合进行自动分类,以发掘数据中隐藏的信息、结构,从而发现可能的商业价值。 (T )