【DataWhale学习】Day12-1、2章绪论及模型评估与选择——西瓜书学习摘录笔记

【DataWhale学习】Day1~2-1、2章绪论及模型评估与选择——西瓜书学习摘录笔记

本文仅摘记且有少量补充及个人理解，因时间问题，完成较为仓促，后续有更深刻理解会进行更新补充。

1章-绪论

机器学习定义：致力于研究如何通过计算的手段，利用经验来改善系统自身的性能

注1：如何理解机器学习？

类似对于人脑对于常识经验得到的结论，如诗句：夜里星光明，明朝依旧晴。我们采用我们对于生活经验的总结，可以得到一些规律，而机器学习就是通过对于已知的特征通过数学参数化的形式来描述一系列的特征，然后通过一定的算法进行模拟，调整自身的参数，对于数据进行预测，即利用经验来改善系统自身的性能

如上注1所述，我们通常需要对于经验进行数据化，这可以说是数据挖掘最核心的思想，而我们该怎么描述这些特征，以下给出描述特征，大家普遍认知的术语：

学习算法（learning algorithm）：从数据中产生“模型”的算法

注2：算法是什么？

非形式地说，算法（algorithm）就是任何良定义的计算过程，该过程取某个值或值的集合作为输入并产生某个值或值的集合作为输出。这样算法就是把输入转换成输出的计算步骤的一个序列。[1]

模型（model）：泛指从数据中学得的结果

数据集（data set）：记录经验特征的集合

样本（sample）：记录关于一个事件或记录

属性（attribute）/特征（feature）：反映事件或对象在某方面的表现或性质的事项

属性值（attribute value）：属性上的取值

属性空间（attribute space）/样本空间（sample space）：属性张成的空间

注3：张成的概念

张成（span）的数学定义[2]：令v1,v2,…,vn为向量空间V中的向量，其所有线性组合构成的集合称为该向量组的张成

在此处可以理解为属性值可以取到所有可能情况的组合

特征向量（feature vector）：描述一件事物属性值对应在空间中的坐标位置

一般用D表示m个示例数据集，其中的每一个样本对应的属性个数即对应的维数，即张成的属性空间的维数

聚类（clustering）：将样本空间中的样本分成若干类（一般在无样本标记的情况下）

对于训练样本是否有标记信息，可分为两大类：“监督学习”和“非监督学习”——分类和回归为前者代表，聚类为后者代表

泛化能力（generalization）：学得模型适用于新样本的能力

归纳（induction）与演绎（deduction）：前者是由已知样本推演泛化的过程，后者是由推演出的具体原理得到具体状况

大数据时代的三大关键技术：机器学习、云计算、众包。机器学习提供数据分析能力，云计算提供数据处理能力，众包提供数据标记能力

数据挖掘是从海量数据中发掘知识，这就必然涉及对“海量数据”的管理和分析

2章-模型选择和评估

错误率（error rate）：将分类错误的样本数占样本总数的比例

误差（error）：将学习器的实际预测输出与样本的真实输出之间的关系

训练误差（training error）：训练集上的误差

泛化误差（generalization error）：新样本上的误差

过拟合（overfitting）：学习器将训练样本自身的一些特点当作了所有潜在样本都会具有的一般性质，这样会导致泛化能力下降

模型选择（model selection）的理想解决方案是对候选模型的泛化误差进行评估，然后选择泛化误差最小的模型

测试集（testing set）：测试学习器对新样本的判别能力

测试误差（testing set）：泛化误差的近似

测试集与训练集的要求：测试样本尽量不在训练集中出现、未在训练过程中使用过，要求我们对D进行适当的处理，从中产生出训练集S和测试集T

以下给出常见做法：

回归任务的性能度量：

更一般的

分类任务的性能度量：

[1] Introduction to Algorithms (Third Edition). Thomas H.Cormen, Charles E.Leiserson.

78)]

[1] Introduction to Algorithms (Third Edition). Thomas H.Cormen, Charles E.Leiserson.

[2] Linear Algebra with Applications (Ninth Edition). Steven J.Leon.