线性回归算法 及其推导

1.假设银行贷款,工资和年龄决定了你的贷款额度。这时候我们就需要找到工资,年龄和额度之间的关联

2.  在x,y,z轴中我们要找到一个拟合面,使得x,y,z的值尽可能的在拟合面上。

x1表示工资,x2表示年龄。θ1表示工资的参数,θ2表示年龄的参数,θ0 表示偏执项。

     

3.由上面公式可以得出:


4.误差定义:真实值和预测值存在差异。ξ表示误差。

每一个样本用公式表示:

独立表示的是:甲乙两个人去银行贷款,两者都没有关系。同分布表示的是:甲和乙都去同一个银行贷款。


5.似然函数:公式比较多,要详细看一下,最好手动推导一下。

5.1预测值与误差:

5.2误差服从高斯分布:

将5.1带入到5.2中得到:

由此得到似然函数:根据样本估计参数,有数据找到参数接近真实值。

求得对数似然:


设A=      B=  让似然函数越大越好,A为常数项,所以B越小越好。

是一个常数项,所以求的值。

用最小二乘法求:

求偏导:


得到偏导值令偏导为0,即可求得θ的值:





  • 1
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值