Lesson2 Liner Regression with multiple variables(多变量的线性回归)

最新推荐文章于 2021-08-05 16:29:31 发布

dearJosh_J

最新推荐文章于 2021-08-05 16:29:31 发布

阅读量151

点赞数

分类专栏：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/qq_28103049/article/details/82964239

版权

机器学习专栏收录该内容

2 篇文章 0 订阅

订阅专栏

Multiple Features（多特征）

$x_{j}^{(i)}$ 是指训练集中第i个训练样本的第j个特征(标量)； $x^{(i)}$ 是训练集中第i个输入特征(向量)。

Example:

$x^{(2)}=\begin{bmatrix} 1416\\ 3\\ 2\\ 40 \end{bmatrix},x_{3}^{(2)}=2$

Hypothesis:

以前： $h\theta (x)=\theta _{0}+\theta _{1}x$

现在： $h\theta (x)=\theta _{0}+\theta _{1}x_{1}+\theta _{2}*x_{2}+...+\theta _{n}x_{n}$

定义 $x_{0}=1,(x_{0}^{(i)}=1),$

$x=\begin{bmatrix} x_{0}\\ x_{1}\\ x_{2}\\ ...\\ x_{n} \end{bmatrix} \epsilon R^{n+1},\theta \epsilon R^{n+1}$

$h_{\theta }(x)=\theta _{0}+\theta _{1}x_{1}+...+\theta _{n}x_{n}=\theta ^{T}x$

代价函数(cost function):

$J(\theta _{0},\theta _{1},...,\theta _{n})=\frac{1}{2m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})^2$

梯队下降法(Gradient descent):

以前： $\theta _{0}:=\theta _{0}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)}) ,\theta _{1}:=\theta _{1}-\alpha \frac{1}{m} \sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})x^{(i)}$ （n=1）

现在： $\theta _{j}:=\theta _{j}-\alpha \frac{1}{m}\sum_{i=1}^{m}(h_{\theta }(x^{(i)})-y^{(i)})x_{j}^{(i)}$ (n>=1) -->多元线性回归的梯度下降算法

特征缩放(feature scaling):

idea(实现思想):使不同特征缩小至相近范围

让每一个特征缩小至统一相近范围：一般减去平均值然后除以标准差或最大最小值之差(均值归一化)

均值归一化(mean normalization):

用 $x_{i}-u_{i}$ 替代 $x_{i}$ ，这样特征值就具有为0的平均值(tips：不将此实施在 $x_{0}=1$ )

学习率 $\alpha$ ：

在选择 $\alpha$ 取值：...，0.001，0.003，0.01，0.03，0.1，0.3，1，...

Polynomial regression(多项式回归)：

tips：注意归一化

normal equation(正规方程)：

这是一个求解 $\theta$ 的解析算法，对比梯度下降法，可以一次性求解 $\theta$ 的最优值。

注意 $(x^{T}x)$ 不一定可逆(奇异或退化矩阵)，matlab/octave使用pvin()函数可能求解的是伪逆矩阵。

对不可逆情况的处理：找到无关的多余特征并删除，这将解决不可逆问题。

关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
Lesson2 Liner Regression with multiple variables(多变量的线性回归)

Multiple Features（多特征）是指训练集中第i个训练样本的第j个特征(标量)；是训练集中第i个输入特征(向量)。Example:Hypothesis:以前：现在：定义代价函数(cost function):梯队下降法(Gradient descent):以前：（n=1）现在：(n&gt;=1) --&gt;多元线性回归的梯...
复制链接

扫一扫

专栏目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。