机器学习（二）——单变量线性回归

最新推荐文章于 2022-06-10 22:27:22 发布

SampsonTse

最新推荐文章于 2022-06-10 22:27:22 发布

阅读量346

点赞数 1

文章标签：机器学习

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/SampsonTse/article/details/103701488

版权

前言：

吴恩达第二章单变量线性回归笔记

模型描述:

字符表示:

m=数据集数量

x=input(自变量)

y=output(因变量)

给出一定量的数据集关于,构建出相应(x,y)的位置.根据算法得到相应的拟合函数(即下图蓝线)

代价函数:

Hypothesis(目标拟合函数):

$H_\Theta (x)=\Theta _0+\Theta _1x$

Parameters(参数):

$\Theta _0 \Theta _1$

CostFunction(计算误差):

$J(\Theta _0,\Theta _1)=\frac{1}{2m}\sum_{i=1}^m (h\Theta (x^{i})-y^{i})^{2}$

Goal(目标):

$\min J(\Theta _0,\Theta _1)$

由 $J(\Theta _0,\Theta _1)=\frac{1}{2m}\sum_{i=1}^m (h\Theta (x^{i})-y^{i})$ 我们可以绘制出如下等高线图

三个坐标分别为 $\Theta_0$ $\Theta_1$ $J(\Theta _0,\Theta _1)$

如何获得 $\min J(\Theta _0,\Theta _1)$ ? 梯度下降算法

重复以下步骤

repeat until convergence{

$\Theta _j:=\Theta _j-\alpha \frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _j}$

for(j=0 and j=1)

}

Correct Simultaneous update(正确的更新方式):

$temp_0:=\Theta _j-\alpha \frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _j}$

$temp_1:=\Theta _j-\alpha \frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _j}$

$\Theta _0=temp_0$

$\Theta _1=temp_1$

α：为learning rate,用来控制下降时的速率

$\Theta _0 \Theta _1$ 应同时更新

根据高等数学下偏导数知识：

$\frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _0}=\frac{1}{m}\sum_{i=1}^m(h_\Theta (x^{i})-y^{i})$

$\frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _1}=\frac{1}{m}\sum_{i=1}^m(h_\Theta (x^{i})-y^{i})x^{i}$

总结：

根据该算法，一步一步算出误差最小时的 $\Theta _0$ 和 $\Theta _1$ ，来得到理想的拟合函数。理想状态下当 $J(\Theta _0,\Theta _1)$ 取最小值时，误差时最小的，即当 $\frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _0}$ 和 $\frac{\partial J(\Theta _0,\Theta _1))}{\partial \Theta _1}$ 两者为0的时候取到最小值。
由于该算法是一个个测试与，逐渐最低点走，因此α的取值相当重要。
1. 若α太大，可能会导致离最低点越来越远。
2. 若α太小，得到最低点用的时间可能会很长

关注

1
点赞
踩
1

收藏

觉得还不错? 一键收藏
0
评论
机器学习（二）——单变量线性回归

前言：吴恩达第二章单变量线性回归笔记模型描述:字符表示:m=数据集数量x=input(自变量)y=output(因变量)给出一定量的数据集关于,构建出相应(x,y)的位置.根据算法得到相应的拟合函数(即下图蓝线)代价函数:Hypothesis(目标拟合函数):Parameters(参数):CostFunctio...
复制链接

扫一扫

SampsonTse CSDN认证博客专家 CSDN认证企业博客

码龄7年

47: 原创

7万+: 周排名

197万+: 总排名

4万+: 访问

: 等级

845: 积分

64: 粉丝

56: 获赞

38: 评论

219: 收藏

私信

关注

热门文章

最新评论

华南师大计算机学院软件工程专硕机试（2019考研）
m0_52733659: 甲乙丙对一次竞赛名次进行预测。我的思路是枚举全排列，然后检查是否有某个排列满足甲乙丙各对一半。 [code=cpp] #include <iostream> #include <vector> using namespace std; const int n = 4; vector<vector<int>> res; vector<int> tmp; vector<bool> st(n + 1, false); // 全排列 void dfs(int u) { if(u > n) { res.push_back(tmp); return; } for(int i=1; i<=n; ++i) { if(!st[i]) { st[i] = true; tmp.push_back(i); dfs(u+1); st[i] = false; tmp.pop_back(); } } } bool check_rank() { for(vector<int>& seq : res) { // a,b,c 分别表示甲乙丙正确的预测数量 int a = 0, b = 0, c = 0; if(seq[0] == 1) ++a; if(seq[1] == 3) ++a; if(seq[2] == 1) ++b; if(seq[3] == 4) ++b; if(seq[3] == 1) ++c; if(seq[1] == 3) ++c; // 甲乙丙说对了一半，并且每个人只预测了2次，因此 a == b == c == 1 if(a == 1 && b == 1 && c == 1) { for(int x : seq) cout << x << ' '; cout << endl; } } } int main() { dfs(1); check_rank(); return 0; } [/code]
C++ 动态定义二维数组
请系好鹌鹑蛋: 怎么释放指针捏
C++ 动态定义二维数组
qq_63719770: 原来可以这样
华南师大计算机学院软件工程专硕机试（2019考研）
又双叒叕彳亍了?: 一般复试几道这种题。这一道题敲也挺耗时间的。
华南师大计算机学院软件工程专硕机试（2018考研）
wusonghuazzx: 华师的机试是oj还是人工批改呀？

最新文章

目录

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。