1. 机器学习的一些概念
有监督：通过已有的训练样本（即已知数据以及其对应的输出）去训练得到一个最优模型（这个模型属于某个函数的集合，最优则表示在某个评价准则下是最佳的），再利用这个模型将所有的输入映射为相应的输出，对输出进行简单的判断从而实现分类的目的，也就具有了对未知数据进行分类的能力。如分类回归。
无监督：事先没有任何训练数据样本，需要直接对数据进行建模。如聚类。
分泛化能力：是指由该方法学习到的模型对未知数据的预测能力。在实际情况中，我们通常通过测试误差来评价学习方法的泛化能力。在实践中我们没有办法对所有的数据进行预测然后判断来计算一个模型的模型的泛华能力，所以一般还是用的测试集中的数据来近似泛化能力。统计学习理论试图从理论上对学习方法的泛化能力进行分析，首先给出泛化误差的定义：
泛化误差反映了学习方法的泛化能力。如果一种方法的模型比另一种方法学习的模型具有更小的泛化误差，那么这种方法就更有效。泛化误差就是所学习到的模型的期望风险。泛化能力的分析通过研究泛化误差的概率的上界进行。
过拟合：指学习时选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测的很好，但对未知数据预测的很差的现象。过拟合模型表现为在训练集上具有高方差和低偏差。解决方法：交叉验证，正则化。
欠拟合：指模型不够复杂、拟合函数的能力不够。欠拟合模型表现为在训练集上具有低方差和高偏差。解决方法：增加迭代次数继续训练、尝试换用其他算法、增加模型的参数数量和复杂程度，或者采用Boosting等集成方法。
交叉验证：就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本，即所谓“交叉”。 有简单交叉验证，S折交叉验证，留一交叉验证。
2. 线性回归的原理
线性回归是一种通过属性的线性组合来进行预测的线性模型，其目的是找到一条直线或者一个平面或者更高维的超平面，使得预测值与真实值之间的误差最小化。
公式如下：
3. 线性回归损失函数、代价函数、目标函数
损失函数：度量的是预测值与真实值之间的差异。计算的是一个样本的误差。
代价函数：是整个训练集上所有样本误差的平均。
目标函数：目标函数是优化问题中的一个概念。任何一个优化问题包括两个部分：(1)目标函数，最终是要最大化或者最小化这个函数；(2)约束条件。约束条件是可选的，比如x<0。
4. 优化方法(梯度下降法、牛顿法、拟牛顿法等)
梯度下降：梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
牛顿法：牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f (x)的泰勒级数的前面几项来寻找方程f(x) = 0的根。牛顿法最大的特点就在于它的收敛速度很快。
拟牛顿法：求解非线性优化问题最有效的方法之一，拟牛顿法和最速下降法(Steepest Descent Methods)一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法(Newton's Method)更为有效拟牛顿法的基本思想如下。首先构造目标函数在当前迭代。
5．线性回归的评估指标
MSE （Mean Squared Error），均方误差，预测数据和原始数据对应点误差的平方和的均值，计算公式如下：
RMSE（Root Mean Squard Error），均方根误差，计算公式如下：
R Squared，计算公式如下：
R^2 越大，说明预测出来的数据可以通过模型的解释性就越强。
6．sklearn参数详解
用sklearn.linear_model.LinearRegression()所需参数：
fit_intercept : 布尔型参数，表示是否计算该模型截距。可选参数。
normalize : 布尔型参数，若为True，则X在回归前进行归一化。可选参数。默认值为False。
copy_X : 布尔型参数，若为True，则X将被复制；否则将被覆盖。 可选参数。默认值为True。
n_jobs : 整型参数，表示用于计算的作业数量；若为-1，则用所有的CPU。可选参数。默认值为1。
扫一扫
2847
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
