神经网络与深度学习 Week1

最新推荐文章于 2024-07-22 16:21:02 发布

在笑意里之间

最新推荐文章于 2024-07-22 16:21:02 发布

阅读量207

点赞数 1

文章标签：深度学习神经网络人工智能

本文链接：https://blog.csdn.net/weixin_62678699/article/details/136993462

版权

1 线性回归:

给定一个数据集(x)，我们需要获得一个对应的输出(y), y = h(x),如果是线性拟合，则为:

y = kx + b;可以扩展 , $y = k_{1}x +k_{2}x +k_{3}x$ 进一步为 $y = h_{\theta }(x) = \theta ^{T}X$

在给定样本 $(X^{(i)},y^{(i)})$ 条件下, 使得 loss_function : $J(\theta ) = \frac{1}{2}\sum_{i=1}^{m}(y^{(i)} -h_{\theta }(x^{(i)}))^{2}$

求解: 令 $\frac{\partial J(\theta)}{\partial \theta} = 0$ .

2 线性分类:

线性分类与线性回归，从输出角度，分别是属于某类的概率与回归具体值，参数的意义也不同，一个是寻找最佳分类直线，一个是最佳拟合直线。在此我们常用Sigmoid函数，通常利用梯度下降方式来优化。

$\theta_j := \theta_j - \alpha \frac{1}{m} \sum_{i=1}^{m} (h_\theta(x^{(i)}) - y^{(i)}) \cdot x_j^{(i)}$ ，其中 $\alpha$ 是学习率。

3：对数回归与多分类回归

对数回归: $h_\theta(x) = \frac{1}{1 + e^{-\theta^T x}} J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log(h_\theta(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_\theta(x^{(i)})) \right]$

Softmax:

$P(y = k | x) = \frac{e^{\theta_k^T x}}{\sum_{j=1}^{K} e^{\theta_j^T x}} J(\Theta) = -\frac{1}{m} \sum_{i=1}^{m} \sum_{k=1}^{K} \left[ y_k^{(i)} \log P(y^{(i)} = k | x^{(i)}) \right]$

4:神经元模型与作用函数

$z = \sum_{i=1}^{n} w_ix_i + b$ 为神经元模型，常见的激活函数: $a = \frac{1}{1 + e^{-z}}$ 、 $a = \max(0, z)$ 、 $a = \tanh(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}$ 以上三式子分别时Sigmoid 、Relu 、Tanh.通常扮演着如下角色:

a:激活函数使得神经网络能够学习和表示非线性函数关系。如果没有激活函数，多层神经网络将等效于单个线性变换，无法捕捉复杂的数据模式

b:过引入非线性变换，激活函数增加了神经网络的表达能力，使其能够逼近任意复杂的函数。这意味着神经网络可以更好地拟合训练数据，并在未见过的数据上进行泛化。

c:某些激活函数（如 ReLU）具有良好的梯度特性，可以帮助减轻梯度消失问题。梯度消失是指在深层网络中，梯度逐渐变小导致训练变得困难。通过使用某些激活函数，特别是那些能够保持梯度在较大范围内的函数，可以有效缓解这个问题

5 感知机:

感知机可以解决线性分类问题,

附上课堂线性回归结果:

在笑意里之间

关注

1
点赞
踩
3

收藏

觉得还不错? 一键收藏
1
评论
神经网络与深度学习 Week1

c:某些激活函数（如 ReLU）具有良好的梯度特性，可以帮助减轻梯度消失问题。通过使用某些激活函数，特别是那些能够保持梯度在较大范围内的函数，可以有效缓解这个问题。线性分类与线性回归，从输出角度，分别是属于某类的概率与回归具体值，参数的意义也不同，一个是寻找最佳分类直线，一个是最佳拟合直线。b:过引入非线性变换，激活函数增加了神经网络的表达能力，使其能够逼近任意复杂的函数。a:激活函数使得神经网络能够学习和表示非线性函数关系。如果没有激活函数，多层神经网络将等效于单个线性变换，无法捕捉复杂的数据模式。
复制链接

扫一扫