weixin_45655385的博客

第五章逻辑回归算法  逻辑回归算法实在线性回归算法的基础上，构建因变量y的转换函数，将y的数之划分到0-1两类，或者多类，实现对事物的分类拟合与预测。5.1从线性回归到分类问题回归方法是一种对连续型随机变量进行预测和建模的算法。  预测房价、股票走势、商品销量等。分类方法是一中对离散型随机变量进行建模或预测的算法  过滤垃圾邮件、金融欺诈、预测评价是正面还是负面等。回归任务的特点是标注的数据集为连续型随机变量分类算法同城适用于预测一个离散型类别（类别的概率）5.2基于Sigmoid函数

第四章线性回归算法进阶4.5Lasso回归  Lasso回归与岭回归类似，差别在于使用了不同的正则化项，由于引入正则项不同，解决了岭回归的一些不足，更好地实现了回顾估计法。4.5.1Lasso回归原理  Lasso回归是让回归系数不要太大，以免造成过度拟合。  与岭回归不同的是，Lasso是在成本函数J(θ)中增加参数绝对值和的正则项：          岭回归中加入了参数平方和的约束惩罚项（L2正则化）  Lasso回归中加入了参数绝对值和的约束惩罚项（L1正则化）        

第四章线性回归算法进阶4.4岭回归  岭回归是线性回归算法正则化的两种常用方法，既可以解决过拟合问题，也可解决线性回归求解中多重共线性问题，即避免（XTX）-1不可逆的情况。4.4.1岭回归的原理  岭回归是基于最小二乘估计法提出的一种有偏估计方法，是对最小二乘估计法的一种改良。  为了获得既可靠又切合实际的回归系数，损失部分信息，并降低精度，放弃了最小二乘法的无偏性。  岭回归就是在残差平方和的基础上增加了参数平方和的正则项，如下所示：            对J(θ)关于θi求偏导，并令

第四章线性回归算法进阶4.3线性回归的正则化4.3.1为什么要使用正则化欠拟合（Underfitting）：  采用一定的算法去拟合时，如果没有考虑相当的信息量（特征变量），从而对训练数据集的拟合算法无法精确，便会发生欠拟合现象。欠拟合也成为高偏差（Bias），即建立的模型拟合与预测效果较差。  解决方法：通过增加更多的特征变量，利用更高次幂的多项式当作假设函数，以该假设函数来拟合训练数据。过拟合（Overfitting）：  采用一定的算法去拟合时，有时会有训练数据不够情况发生，也就是训练

第四章线性回归算法进阶4.2梯度下降法求解多变量线性回归  梯度下降法是对最小二乘法进行优化求解回归的一种算法，它采用了迭代的形式来寻找成本函数J(θ)的最小值。其中J(θ)：4.2.1梯度下降的含义定义：  来自于数学中的微积分，通过对多元函数参数求偏导数，把求得的各参数的偏导数以向量的形式写出来就是梯度。几何意义：  函数变化增加最快的地方  梯度上升：    沿着梯度向量的方向更容易找到函数的最大值。  梯度下降：    沿着梯度向量相反的方向，梯度减小最快，更容易找到函数的最

第四章线性回归算法进阶  多变量线性回归算法的求解远离取自于单变量线性回归算法，又克服了单变量线性回归算法只有一个特征变量，在实际应用中的局限性，因而用途广泛。  多变量线性回归常规解法中对变量有特定要求，而实际应用中不可能并不满足这个要求，同时存在过拟合等问题，因而在基础求解上，需要引入正则化、岭回归和Lasso回归等，进一步优化与拓展多变量线性回归算法的求解。4.1多变量线性回归算法4.1.1多变量线性回归算法的最小二乘求解基本模型：  hθ(x)=θ0+θ1x1+θ2x2+θ3x3+…+θ

3.1回归本质3.1.1拟合概念通过数据之间的关系建立一种近似的函数关系3.1.2拟合与回归的区别通过拟合方法可能找到关系曲线，但是不能确定对未知的数据拟合程度寻找合适的曲线，越来越难拟合是人们主观感知3.1.3回归的诞生《遗传的身高向平均数方向的回归》Regression3.1.4回归的本质含义不仅是数据拟合手段，更是预测，不断向平均值回归3.2单变量线性回归算法用两个变量建立线性回归方程，来拟合与预测两变量关系的算法常规求解：  最小二乘法（实际值与预测值之间偏差的平方