- 博客(5)
- 收藏
- 关注
RSS订阅原创 李宏毅-2021春-机器学习/深度学习学习笔记-CNN & Self-Attention【1】
一、卷积神经网络（Convolutional Neural Network）1、使用目的 专门用于图像处理的网络架构，比如图像分类、目标检测等；2、预先处理 把不同大小的图片都先Rescale成一个固定大小的图片；3、图像分类处理框架4、一般一张RGB图像都拥有三个维度（1）什么是图像的维度？ 首先，针对于类似于上述的图片而言，一张RGB图像，除去基本的长和宽，还有一个颜色通道的维度，一般而言，计算机会将一张RGB图像通过红绿蓝三种不同的颜色进行叠加来产生各种各样的颜色，所以在颜色
2021-06-16 16:11:17
539
2
原创 李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【4】
四、Loss Function: Classification1、把你的类别，用One-hot Vector表示 向量数组中，不同下标的每个元素，都表示一种不同的类别：Class1Class2Classs3y1^=[100]y2^=[010]y3^=[001]\qquad Class1 \quad\qquad Class2 \quad\qquad Classs3\\ \hat{y_1}={\begin{bmatrix} 1\\0\\0 \end{bmatrix}}\qquad \hat{y_2}=
2021-06-12 11:08:06
190
原创 李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【3】
三、Tips for Training: Adaptive Learning Rate1、训练收敛了吗？ 可能会出现这样一种情况，明明训练的损失已经看上去收敛了，但是梯度还是在来回的波动，不用担心，可能其只是卡在了局部最优解的山谷里反复横跳而已；2、如果不是局部最优解的话，为什么训练损失卡住了呢？ 可能是你的学习率（Learning Rate）调整的不好。太大，会来回横跳，太小，步伐会太慢，可能永远到不了终点；3、自适应你的学习率（1）目标：如果在某一个方向上梯度很大，我们希望学习率会小一点
2021-06-11 12:00:07
161
原创 李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【2】
二、Tips for Training: Batch and Momentum1、Batch（1）目标任务：θ∗=argminθL\theta^*=arg\min \limits_\theta Lθ∗=argθminL；（2）操作：每次在所有的训练集中选取一个Batch然后进行梯度下降后更新参数，Epoch尾进行一次Shuffle：gi=∇Li(θj)updateθj−ηgi→θj+1{\color{green}g^i}=\nabla L^i(\theta^j) \qquad update \
2021-06-11 10:48:17
198
1
原创 李宏毅-2021春-机器学习/深度学习学习笔记-Deep Learning【1】
一、When Gradient Is Small: Local Minimum and Saddle Point1、为什么你的训练损失会停留在一定的数值？原因1：达到了局部最小，意味着网络训练已经达到了收敛的情况；原因2：达到了鞍点（saddle point），此时的梯度也是0，故网络损失可能不会再继续下降；2、判断鞍点 首先，就要知晓损失函数的形状，但是我们无法知道完成的损失函数的形状，因为参数可能很多，模型比较复杂，但是如果给定某一组参数θ′\theta^\primeθ′，在其附近的损失
2021-06-11 10:46:53
223
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人