回归分析

回归分析是一种用来确定两种或两种以上变量间相互依赖的定量关系的统计分析方法，运用十分广泛。




按照涉及的自变量的多少，分为回归和多重回归；


按照自变量的多少，可分为一元回归分析和多元回归分析；


按照自变量和因变量之间的关系类型，可分为线性回归和非线性回归分析。




如果在分析中，只包括一个自变量和一个因变量，且二者的关系可用一条直线近似表示，这种回归分析称为一元线性回归分析。


如果回归分析中包括两个或两个以上的自变量，且因变量和自变量之间是线性关系，则称为多重线性回归分析。




随机梯度算法


f（Θ）=Θ0X0 + ΘnXn




对于系数不停的求解出当前位置下最优化的数据。这句话通过数学方式表达的话就是不停地对系数Θ求偏导数。




因此可以说随机梯度下降算法最终被归结为通过迭代计算特征值从而求出最合适的值Θ，求解的公式如下：


Θ = Θ - α（f（Θ ） -  yi）xi  α是下降系数，用较通俗的话来说就是用以计算每次下降的幅度大小。系数越大则每次计算中差值越大，系数越小则差值越小，但是计算时间也相对延长。




拟合算法


Θ = Θ - α（Θ -  yi）xi


第一步假设Θ为0 α为0.1






数据量大时，为何Θ会偏离




lasso回归


岭回归


对最小二乘法加入处罚约束，使得某些系数的估计为0