线性回归

线性回归

回归得到的是一个区间值，如银行根据年龄和工资预测出贷款的额度 

逻辑回归模型最终拟合出一条直线

线性回归是找拟合平面
拟合平面由特征和对应参数组成，我们要做的是确定出参数
然后把新数据带入到拟合面对应的函数（说明新数据求出的值一定在拟合平面上），再加上误差就得到预测值

 

横轴特征加上小范围的浮动，有利于拟合出逻辑回归的模型

如果是一条直线，就不知道在纵轴的某个值分布的有多少个点了（不容易观察出），如果把参数jitter设置为0.5（左右小范围浮动）或者True，就能很好的解决问题
这个题目的背景是什么？

 

分类问题得到的是一个类别，如银行根据年龄和工资预测出到底借不借的问题（借和不借可用0、1代替）

 

例子：银行根据年龄和工资确定出贷款金额

年龄的参数θ1，表示年龄对结果有多大的影响；工资参数θ2，表示工资对最终结果有多大的影响；θ0偏置项，贷款有个浮动值

权重参数（θ1，θ2）：影响大，偏置参数（θ0，b）：影响小

问题：权重参数怎么求的？这也是面试平安科技时问到的一个问题，你的权重参数是怎么确定出来的

通过似然函数求出的（具体见下）

这里是没有特征X0的，但是整合后出现了X0，可以在原始数据中加入一列值全为1的特征X0

红色点是实际数据，与拟合出来的平面（根据原始数据拟合出来）存在差异，这个差异用ε表示

ε为红点到拟合平面的距离

视频中讲到：新来的数据同样有标签的（即贷款金额），这个值和拟合平面（预测值）比较存在误差ε

误差（相当相当重要）：误差项假设服从高斯分布

每一条数据都存在一个误差ε

高斯分布（那个图对应函数表达式），纵轴交点为0.4

高斯分布就是正态分布（正常状态下的分布），分为标准和不标准两种

标准的高斯分布：均值为0，标准差为1；不标准很多情况

实际情况

注意高斯分布表达式

似然函数：通俗理解：去赌场赌博，不知道是赢还是输，只知道输赢是服从赌场的某个规则，于是在门口问出来的第一个，第二个...问了10个人发现有个人挣钱了，一个人输钱了，现在就认为无论赌场服从什么规则，只要我进去就有0.9的概率挣钱

根据样本数据（已赌人的情况）估计参数值（赌场规则）

最大似然函数：根据函数推导出最合适的参数θ，使预测值和真实值最大程度的接近

实质含义：预测值成为真实值的可能性，当然函数值越大越好

LR中必问三个点：

逻辑回归中的目标函数表达式是什么？平安科技面试时让写LR的目标函数，同样的，也可能问到SVM

为什么要引入似然函数？

为什么要取对数

最小二乘法/目标函数（一个函数表达式，同样也是LR中的目标函数）是什么？为什么越小越好？面试平安科技时面试官要我写出LR的函数表达式

似然函数做乘法运算，要是有m很大（即特征很多时），需要很多次累乘，这是不容易去实现的，因此把乘法转化为加法（即取对数运算）

 

接下来的问题当然是求目标函数的最小值

平方项转化为转置矩阵乘原矩阵，消除矩阵的方法是左右乘你矩阵（没有什么除法运算的）

让目标函数的偏导为0，能使目标函数的值最小，因此需要进行偏导运算

X表示银行贷款用户的特征信息（年龄，工资，实际数据），y表示银行能借的金额（实际数据），θ对应的拟合平面为预测值

 

上左表示真实值

上右yi表示预测值

类似方差项：方差项还需要除m