计算机视觉与深度学习笔记
文章平均质量分 66
学习B站上北京邮电大学鲁鹏老师的课程,做了部分笔记
河楸
这个作者很懒,什么都没留下…
展开
-
P5 全连接神经网络(中)
sigmoid函数在x等于0的时候导数最大,当输入值大于或者小于-10的时候,局部梯度都是0,不利于网络的梯度流传递,也就是会出现梯度消失的情况。而且,就算是梯度最大的时候也只有0.25,容易出现的情况。梯度爆炸也是由于链式法则的乘法特性导致的。断崖处梯度乘以学习率后会是一个非常大的值,从而飞出了合理区域,最终导致算法不收敛。解决方法就是沿梯度方向前进的步长限制在某个值内就可以避免“飞”出了,也叫做relu函数的好处,当输入大于0的时候局部梯度永远不会为0leakly relu基本上没有梯度为0的地方。原创 2023-08-30 11:37:12 · 62 阅读 · 0 评论 -
P4 全连接神经网络(上)
个人理解:熵反应混乱程度,如老师所举的案例,输球的概率100%,一点都不混乱,如果赢平输的概率各为1/3,那么此时熵最大,也最混乱。又因为p(x)=0时无需计算log(q(x)),所以交叉熵损失可以简化为下式,其中j是真是类别, $q_j$就是实际类别在分类器中的预测出的概率(例如图是猫,预测器给出这张图是猫的概率)W1的行数不需要受到类别限制,那么W1可以指定为很多行,一行就是一个模板,那么对于同一类东西,我可以用很多模板去区分它,例如马,一个模板记录朝右的马,一个记录朝左的马等等。原创 2023-08-30 11:26:19 · 77 阅读 · 0 评论 -
3 线性分类器(下)
举例:将R(W)设定为L2正则项其中的w表示矩阵中每一个元素,即所有元素的平方求和L2正则损失对大数值权值进行惩罚,喜欢分散权值,鼓励分类器将所有维度的特征都用起来,而不是强烈的依赖其中少数几维特征此外常见的正则项损失有最后这个是弹性网络正则项。原创 2023-07-24 10:01:05 · 47 阅读 · 0 评论 -
2 图像分类任务介绍&线性分类器(上)
上一种方法不行,现在都采用数据驱动的图像分类方式该方法包括三个步骤:1、数据集构建;有些是有标签的,有些是无标签的2、分类器设计与学习;从数据中找出规律,那么就需要找一个数学模型(分类器),然后通过学习将模型的参数填上。3、分类器决策:运用训练好的模型像素表示,特征太多,难以得到好的分类模型全局特征表示,从图像上抽出一些特征,例如频率特征等,用于大场景的分辨,面对遮挡就没办法局部特征表示,用局部特征来辨别,不容易收到遮挡影响神经网络将特征提取和分类放一起了,原创 2023-07-23 21:25:11 · 497 阅读 · 1 评论 -
1 计算机视觉学习前言
在CPU的指令集中对于100*100的两个矩阵相加需要运行10000次加法,在GPU指令集中只需要一次加法。计算机视觉大体上分为两个方向:视觉识别和三维信息获取。机器视觉更多地用于机器人一类的对象上。所以GPU对矩阵的计算很快。原创 2023-07-23 21:18:51 · 120 阅读 · 1 评论