西瓜书第三章

于 2021-11-22 22:36:59 发布
阅读量475 收藏
点赞数
文章标签： 算法 机器学习 回归
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52471778/article/details/121479709
版权

3.1基本形式

   给定d个属性描述的示例,x=(x_1;x_2;...;x_d)其中x_i是x的第i个属性上的取值。

线性模型试图学得一个通过属性的线性组合来预测的函数，即

f(x)=w^Tx+b

3.2线性回归

使用均方误差来进行性能度量，最小化均方误差

(w^*,b^*)=argmin_{(w,b)} \sum_{i=1}^m(f(x_i)-y_i)^2\\

求解w和b使得E_{(w,b)}=\sum_{i=1}^m(y_i-wx_i-b)^2的方法为最小二乘法，分别对w和b求导得到w和b的最优解

w=\frac{\sum_{i=1}^my_i(x_i-x)}{\sum_{i=1}^mx_i^2-\frac{1}{m}(\sum_{i=1}^mx_i)^2}

b=\frac{1}{m}\sum_{i=1}^m(y_i-wx_i)

 同理，我们也可以用最小二乘法进行多元线性回归。

当我们认为输出标记在指数尺度上变化时

可以使用对数线性回归

lny=w^Tx+b

3.3对数几率回归

如果我们要进行的是分类任务

以二分类任务为例，输出标记y\in{0,1},最理想的是单位阶跃函数，但单位阶跃函数并不连续，

以此我们使用对数几率函数（sigmoid）来逼近它，

y=\frac{1}{1+e^{-z}}.

将z=w^T+b带入得

y=\frac{1}{1+e^{-(w^T+b)}}

ln\frac{y}{1-y}=w^T+b 

我们将\frac{y}{1-y}称为几率，取对数之后得到的则为对数几率（logit）

3.4线性判别分析（LDA）

LDA是一种经典线性判别方法；

思想：给定训练样例集，设法将样例投影到一条直线上，使同类样例尽可能接近，异类样例尽可能远离。

3.5 课后习题

3-1.试析什么情况下不用考虑偏置项b？

对于向量x的每个值去均值处理后，就不用考虑了。

3-2.试证明对于参数w，对数几率回归目标函数非凸，但其对数似然是凸函数。

\begin{align*} y&=\frac{1}{1+e^{-(w^Tx+b)}}\\ \frac{\partial y}{\partial w}&=\frac{e^{-(w^Tx+b)}x}{(1+e^{-(w^Tx+b)})^2}\\ \frac{\partial^2 y}{\partial w^2}&=\frac{-e^{-(w^T+b)}x^2(1-e^{-(w^T+b)}))}{(1+e^{-(w^T+b)})^2} \end{align*}

很显然二阶导数不恒大于0，非凸；

l(\beta)=\sum_{i=1}^m(-y_i\beta^Tx_i+ln(1+e^{\beta^Tx_i}))\\ \frac{\partial^2 l(\beta)}{\partial \beta \partial \beta^T}=\sum_{i=1}^mx_ix_i^Tp_1(x_1;\beta)(1-p_1(x_1;\beta))

恒大于0.

blackfw
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值