线性学习(一)

线性回归:
回归和分类的区别是要预测的目标函数是连续值
f ( x ) = w x + b f(x) = wx + b f(x)=wx+b

w = ( w 1 ; w 2 ; … … ; w m ) w = (w1; w2;……;wm) w=(w1;w2;;wm)
w w w b b b通过最小二乘法确定,基于预测值和真实值的均方差最小化估计参数
在这里插入图片描述
令上式为0即可求出 w w w b b b的最优解如下:
在这里插入图片描述
广义线性回归:
当问题为非线性问题时,将线性回归的预测值做一个非线性函数变化去逼近真实值
在这里插入图片描述
理论上, g ( x ) g(x) g(x)可以为任意函数
逻辑斯蒂回归:
对于分类问题,只要将预测的结果形成映射即可,以二分类为例
在这里插入图片描述
但是这个函数时不连续的,所以需要寻找一个连续的函数
在这里插入图片描述
在这里插入图片描述
补充知识:
似然函数:
统计学中,似然函数是一种关于统计模型参数的函数。给定输出x时,关于参数θ的似然函数L(θ|x)(在数值上)等于给定参数θ后变量X的概率:L(θ|x)=P(X=x|θ)。
在这里插入图片描述在这里插入图片描述
极大似然估计:
它是建立在极大似然原理的基础上的一个统计方法,极大似然原理的直观想法是,一个随机试验如有若干个可能的结果A,B,C,… ,若在一次试验中,结果A出现了,那么可以认为实验条件对A的出现有利,也即出现的概率P(A)较大。极大似然原理的直观想法我们用下面例子说明。设甲箱中有99个白球,1个黑球;乙箱中有1个白球.99个黑球。现随机取出一箱,再从抽取的一箱中随机取出一球,结果是黑球,这一黑球从乙箱抽取的概率比从甲箱抽取的概率大得多,这时我们自然更多地相信这个黑球是取自乙箱的。一般说来,事件A发生的概率与某一未知参数 有关, 取值不同,则事件A发生的概率 也不同,当我们在一次试验中事件A发生了,则认为此时的 值应是t的一切可能取值中使 达到最大的那一个,极大似然估计法就是要选取这样的t值作为参数t的估计值,使所选取的样本在被选的总体中出现的可能性为最大。
极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。极大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

参考资料:
https://blog.csdn.net/sinat_29957455/article/details/78944939
https://baike.baidu.com/item/%E4%BC%BC%E7%84%B6%E5%87%BD%E6%95%B0
中国地质大学课件

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值