Datawhale深度学习入门task2-线性模型

最新推荐文章于 2024-09-01 10:01:58 发布

正在学AI的琦琦

最新推荐文章于 2024-09-01 10:01:58 发布

阅读量299

点赞数 9

文章标签：深度学习人工智能

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/weixin_48483728/article/details/141687747

版权

在训练数据上，误差值比较小

在没有看过的数据上，看起来误差值比较大

通常一个模型的修改，往往来自于对这个问题的理解，即领域知识。

这些模型都是把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。

1.分段线性曲线

Model Bias：Liner Models have severe limitation.

（图片来自于李宏毅老师的《深度学习详解》）

0+1=左侧红色斜坡

0+1+2=红色两个转折点之间

0+1+2+3=红色最后转折段

也就是，红色线，即分段线性曲线（piecewise linear curve）可以看作是一个常数+加上一堆蓝色的函数。（常数+一堆Function）

综合起来，就能够写非常弹性的Function咯

$c_1{}sigmoid(b_1{}+w_1{}x_1{})$

$sigmoid(r_{i})=\frac{1}{1+e^{-r_{1}}}$

2.模型变形

New Model:More Features

i:1 2 3.......no.of features

j:1 2 3...... no.of sigmoid

c：不同的Function

$w_{ij}$ ：weight for $x_{j}$ for i-th sigmoid

$y=b_1{}+wx_1{}$

变为：

$y=b+\sum_{i}^{}c_i{}sigmoid(b_i{}+w_i{}x_1{})$

$y=b+\sum_j{}w_jx_j{}$

变为：

$y=b+\sum_{i}^{}c_i{}sigmoid(b_i{}+\sum_j{w_{ij}x_1{}})$

每个神经元都拟合了一个曲线

为了简化方式，另

$r_{1}=b_{1}+w_{11}x_{1}+w_{12}x_{2}+w_{13}x_{3}$

$r_{2}=b_{2}+w_{21}x_{1}+w_{22}x_{2}+w_{23}x_{3}$

$r_{3}=b_{3}+w_{31}x_{1}+w_{32}x_{2}+w_{33}x_{3}$

......

线性代数，简化成矩阵形式

线性代数方程式：r = b + Wx

$a_{i}=sigmoid(r_{i})=\frac{1}{1+e^{-r_{1}}}$

$a_{i}=sigmoid(r_{i})=\frac{1}{1+e^{-r_{1}}}$

3.机器学习框架

正在学AI的琦琦

关注

9
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
Datawhale深度学习入门task2-线性模型

在训练数据上，误差值比较小在没有看过的数据上，看起来误差值比较大通常一个模型的修改，往往来自于对这个问题的理解，即领域知识。这些模型都是把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）。
复制链接

扫一扫

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。