算法梳理第一天（一）

一，机器学习的基本概念
1，有监督：通常被称为监督学习（supervised learning），常用于回归问题和分类问题。使用这种方法需要提供原始数据以及其对应的标签，常用的监督学习方法有K-近邻算法（k-Nearest Neighbors，KNN），决策树（Decision Trees），朴素贝叶斯（Naive Bayesian），逻辑回归（Logistic Regression）等。
2，无监督：通常被称为无监督学习（Unsupervised Learning），通常用于在拥有的数据集没有被标记，也没有确定的结果的情况下对数据进行分类。无监督学习一般根据样本间的相似性对样本集进行分类，试图使类内差距最小化，类间差距最大化。常用的无监督学习方法有EM算法，K-MEANS聚类，稀疏自编码，限制波尔兹曼机等
3，泛化能力：是指机器学习算法对新鲜样本的适应能力。学习的目的是学到隐含在数据背后的规律，对具有同一规律的学习集以外的数据，经过训练的网络也能给出合适的输出，该能力称为泛化能力。
4，过拟合：过拟合（over-fitting）是指所建立的模型对训练样本拟合阶次过高，模型学习过程中学到了的大量不具备普适性的特征，导致训练后的模型在测试集上在验证数据集以及测试数据集中表现不佳。通常通过增加正则化项来降低模型复杂度的影响来解决。
5，欠拟合：欠拟合（under-fitting）相对过拟合欠拟合还是比较容易理解。这是模型提取的特征比较少，导致训练出来的模型不能很好地匹配测试数据集。通常通过增加训练集数据量以及增加模型复杂度来解决。
6，交叉验证：交叉验证（Cross-validation）是在机器学习建立模型和验证模型参数时常用的办法。就是重复的使用数据，把得到的样本数据进行切分，组合为不同的训练集和测试集，用训练集来训练模型，用测试集来评估模型预测的好坏。在此基础上可以得到多组不同的训练集和测试集，某次训练集中的某样本在下次可能成为测试集中的样本。

交叉验证分为下面三种：　　　
　　a.简单交叉验证:随机的将样本数据分为两部分，然后用训练集来训练模型，在测试集上验证模型及参数。把样本打乱，重新选择训练集和测试集，继续训练数据和检验模型。最后选择损失函数评估最优的模型和参数。　
　　b.S折交叉验证（S-Folder Cross Validation）:和第一种方法不同，S折交叉验证会把样本数据随机的分成S份，每次随机的选择S-1份作为训练集，剩下的1份做测试集。当这一轮完成后，重新随机选择S-1份来训练数据。若干轮（小于S）之后，选择损失函数评估最优的模型和参数。
　　c.留一交叉验证（Leave-one-out Cross Validation）:它是第二种情况的特例，此时S等于样本数N，这样对于N个样本，每次选择N-1个样本来训练数据，留一个样本来验证模型预测的好坏。此方法主要用于样本量非常少的情况，比如对于普通适中问题，N小于50时，一般采用留一交叉验证。

二，线性回归（Linear Regreesion ）
1，原理
线性回归(Linear Regression)是利用称为线性回归方程的最小平方函数对一个或多个自变量和因变量之间关系进行建模的一种回归分析。这种函数是一个或多个称为回归系数的模型参数的线性组合。只有一个自变量的情况称为简单回归,大于一个自变量情况的叫做多元回归。
2，损失函数

3，目标函数

三，优化方法
1，梯度下降法
梯度下降是迭代法的一种,可以用于求解最小二乘问题(线性和非线性都可以)。在求解机器学习算法的模型参数，即无约束优化问题时，梯度下降（Gradient Descent）是最常采用的方法之一，另一种常用的方法是最小二乘法。在求解损失函数的最小值时，可以通过梯度下降法来一步步的迭代求解，得到最小化的损失函数和模型参数值。反过来，如果我们需要求解损失函数的最大值，这时就需要用梯度上升法来迭代了。在机器学习中，基于基本的梯度下降法发展了两种梯度下降方法，分别为随机梯度下降法和批量梯度下降法。
使用梯度下降法首先要有一个可微分的函数。这个函数就代表着一座山。我们的目标就是找到这个函数的最小值，也就是山底。而最快的下山的方式就是找到当前位置最陡峭的方向，然后沿着此方向向下走，对应到函数中，就是找到给定点的梯度 ，然后朝着梯度相反的方向，就能让函数值下降的最快，因为梯度的方向就是函数之变化最快的方向。

2，牛顿法
牛顿法最初由艾萨克·牛顿于1736年在 Method of Fluxions 中公开提出。而事实上方法此时已经由Joseph Raphson于1690年在Analysis Aequationum中提出，与牛顿法相关的章节《流数法》在更早的1671年已经完成了。牛顿法又称为牛顿-拉弗森方法（Newton-Raphson method），它是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(y)=0的根。

　优点：二阶收敛，收敛速度快。
　缺点：牛顿法是一种迭代算法，每一步都需要求解目标函数的Hessian矩阵的逆矩阵，计算比较复杂。
　
3，拟牛顿法
拟牛顿法(Quasi-Newton Methods)是求解非线性优化问题最有效的方法之一，于20世纪50年代由美国Argonne国家实验室的物理学家W. C. Davidon所提出来。Davidon设计的这种算法在当时看来是非线性优化领域最具创造性的发明之一。不久R. Fletcher和M. J. D. Powell证实了这种新的算法远比其他方法快速和可靠，使得非线性优化这门学科在一夜之间突飞猛进。在之后的20年里，拟牛顿方法得到了蓬勃发展，出现了大量的变形公式以及数以百计的相关论文。
拟牛顿法的本质思想是改善牛顿法每次需要求解复杂的Hessian矩阵的逆矩阵的缺陷，它使用正定矩阵来近似Hessian矩阵的逆，从而简化了运算的复杂度。拟牛顿法和最速下降法一样只要求每一步迭代时知道目标函数的梯度。通过测量梯度的变化，构造一个目标函数的模型使之足以产生超线性收敛性。这类方法大大优于最速下降法，尤其对于困难的问题。另外，因为拟牛顿法不需要二阶导数的信息，所以有时比牛顿法更为有效。如今，优化软件中包含了大量的拟牛顿算法用来解决无约束，约束，和大规模的优化问题。

四，线性回归的评估指标
1.MSE
MSE是预测数据和原始数据对应点误差的平方和的均值

2.RMSE
RMSE也叫回归系统的拟合标准差，是MSE的平方根

3.R-square
SSR即预测数据与原始数据均值之差的平方和

SST即原始数据和均值之差的平方和

R-square（确定系数）定义为SSR和SST的比值

确定系数是通过数据的变化来表征一个拟合的好坏。由上面的表达式可以知道“确定系数”的正常取值范围为[0 1]，越接近1，表明方程的变量对y的解释能力越强，这个模型对数据拟合的也较好，R^2 越大，说明预测出来的数据可以通过模型的解释性就越强。

五，sklearn参数详解
此部分好难啊，目前还看不懂。