- 博客(30)
- 收藏
- 关注
RSS订阅原创 神经网络nn
正则化惩罚项表示：当前这组模型由于权重参数所带来的损失（和数据没有关系，只考虑权重参数）（防止过拟合）神经网络既能作分类又能作回归，做不同的任务就是损失函数不同而已。data_loss :数据在当前损失函数当中得到的损失。损失函数用来衡量当前这组权重的效果。回归任务是由得分计算损失。1.线性函数（得分函数）分类任务由概率计算损失。神经网络的目标是更新w。
2023-08-08 18:33:00
63
原创 pytorch官方fcn网络结构
所以就引入了一个辅助分类器（和Googlenet中的辅助分类器作用是差不多的）（训练时可用可不用）因为在语义分割网络中如果下采样的倍率过大，还原回原图效果会受影响，所以这里就没必要下采样了。不同点在于：捷径上卷积核步距改为了1（resnet中会将特征层大小缩小为原来的一半）这里最后的1*1卷积层会调整特征层的channel为分类任务中的类别个数。主干上，第二个卷积层步距也从2该到了1，并且引入了r参数（膨胀系数）通过第一个卷积层后，会将特征层的深度缩小为原来的四分之一。预测过程中不会使用这个辅助分类器。
2023-08-06 16:04:14
131
原创 膨胀卷积11111
在语义分割任务中，比如fcn，通常会使用分类网络作为网络的backbone，进行一系列的下采样，然后我们再通过一系列的上采样还原会原图大小，在平时使用的分类网络中，一般会将高度和宽度下采样32倍，由于后期要还原回原图大小，所以如果将特征图的高宽下采样倍率太大的话，对还原有很大影响。如果直接将maxpooling层去掉，会导致得到的特征图所对应原图的感受野变小了（最大池化下采样层能增大特征层的感受野），那么对于maxpooling之后的一些列卷积层，他们又是在之前所对应的感受野之上 进一步操作的，不可行。
2023-08-04 17:53:31
82
原创 FCN..............
（第一个网络得到的是长度为1000的向量，第二个网络若输入图像大于224*224，那么得到的特征层的高度和宽度是大于1的，那么他对应与每个channel的数据就是2d的了，也就刻意将他可视化为一张图片的形式）这里所得到的特征图，每一个pixel在channel范围上一共有21个值，对这值进行softmax处理，就可以得到该像素针对每一个类别的预测概率，那么就可以取概率最大的类别作为该像素的预测类别。对于全连接层，我们要求的输入节点的个数是固定的，如果在训练过程中，他的输入节点个数发生变化，就回报错。
2023-08-02 17:09:12
59
原创 转置卷积（transposed Convolution）
#转置卷积不是卷积的逆运算，只是把特征矩阵的大小还原为卷积之前的大小，但数值上是不一样的。首先将卷积核转化成一个个等效矩阵，对于每个等效矩阵与输入特征矩阵相应位置相乘再相加。一般情况下卷积不可逆（即知道c和o不能求I），除非c为方阵（两边同乘以矩阵的逆）##可以得到与输入特征矩阵相同大小的矩阵，等号两边右侧同时乘以c的转置就可以了。接下来用矩阵I与C相乘就能得到矩阵o（输出特征矩阵的展平后形式）之前我们所说的普通卷积的计算方式都是以滑动窗口的方式来进行计算的。这就是转置卷积的运算过程（p）
2023-08-01 18:09:33
71
原创 语义分割前言
可以看到针对目标的边缘和特殊区域（不好分割的目标）会用一个特殊的颜色进行填充，这些位置对应的像素值是255，在训练过程中，计算损失时会忽略掉这些255的地方（因为目标边缘到底属于哪个类别不好区分）PASCAL VOC：提供一个png图片（是以调色板的方式进行存储的，其实他是一个一通道的（黑白）图片），在这个图片中记录有每一个像素所属于的类别信息。## 如果用python的pylow包去读取图片，默认读取进来的就是调色板模式（p模式）（通道为1），训练的时候只需要关注每个像素所属于的类别索引就可以了。
2023-08-01 11:00:24
28
原创 EfficientNetV2详解
正向传播过程中将输入通过了一个一个block，这里每个block都可以认为是残差结构（主分支上通过f得到输出，捷径分支就是输入直接引到输出），会以一定的概率对主分支上的输出进行丢弃（整个主分支丢弃），也就相当于没有这一层，也就相当于网络是一个随机的深度了，存活概率是从1到0.5。trans_size 是300，是指训练过程中最大训练尺寸（但是由于采用了渐进式的学习策略，所以他的训练尺寸是会变的，最大不会超过300）扩展因子等于1和不等于1的结构是不同的（等于1时不需要扩展，所以就少了一个卷积层）
2023-06-27 18:31:23
1216
原创 EfficientNet详解
这个网络非常占gpu的显存，像b4，b5，b6，b7这些模型，图像的分辨率非常大，每一个层结构的输入输出矩阵的高和宽都要增加，对于显存占用也要增加。1*1卷积进行升维，dw卷积大小为k*k（3或5）（步距可能为1或2），se模块，1*1卷积进行降维。图b在图a的基础上增大了网络的宽度（特征矩阵的channel）（每个卷积层使用更多的卷积核）分辨率是输入特征矩阵的分辨率，这里的步距是每个stage的第一层，其他均为1。图d增加网络的分辨率（每个特征矩阵的高和宽都会出增加）图a是传统的网络模型。
2023-06-26 16:55:59
228
原创 shufflenet v2详解
衡量模型运算复杂度的直接指标是推理速度，flops只是一个间接指标，mac，并行等级等也有影响。此外，在不同平台上消耗时间也是不同的。对于每个stage的第一个block而言，他的channel是要翻倍的。hwc1是输入特征矩阵的内存消耗，hwc2是输出特特征矩阵的内存消耗，这里的网络碎片化程度可以理解为分支程度（串联和并联都可以理解为分支）将出入特征矩阵的channel划分为两部分(一半一半)这里针对的是1*1的卷积层。c1*c2是卷积核的内存消耗。2.设计高效模型的建议。
2023-06-25 18:14:26
262
原创 MobileNet V3详解
输出的向量可以理解为对特征矩阵的每一个channel分析出了一个权重关系（重要的channel权重比较大）对得到的矩阵的每一个channel进行池化处理，channel有多少，得到的一维向量就有多少个元素。nl是非线性激活函数的意思，由于不同层中所使用的激活函数不一样，所以没有明确标出。##第一个全连接层的节点个数等于特征矩阵channel的四分之一。降维的部分没有使用激活函数（也可以说使用了线性激活函数）将得到的权重与各自的channel相乘，便得到了结果。然后通过两个全连接层得到输出的向量。
2023-06-24 18:07:38
228
原创 rnn........
通常情况下，深度神经网络都是水平延伸的（比如cnn），隐层数量多了，但是没有考虑单个隐层在时间上的变化。rnn通常会假定不同的层，也就是不同的时刻，通用一个Ws（有效的减少训练参数）##对于图像的分类，输入的每张图往往是独立的，前后无关的，这时候cnn就够了。##但是对于语言类的问题，输入的语境的语序都是非常重要的，rnn就有用了。网络结构不变，不添加新的神经元，但是沿着时间轴重复，建立时序上的关联。隐层的时间关联既可以是全连接的（如图），也可以是自己对自己的。Ws：层级间的权重矩阵。
2023-06-23 18:09:21
51
1
原创 MobileNet详解
在v2中，并不是每个倒残差结构都有捷径分支的（当s=1且输入特征矩阵与输出特征矩阵的shape相同时，才有捷径分支，上图表示有误）的高度 * 卷积核的宽度 * 卷积核的通道个数 * 卷积核个数 * 输入特征矩阵的高度 * 输入特征矩阵的宽度（前提是步距为1）第一层卷积层：步距是2，卷积核大小是3*3，输入特征矩阵深度是3（rgb图像），卷积核个数是32。第二层：DW卷积层（卷积核深度为1），步距为1，卷积核大小3*3，卷积核个数是32。t=1的那个倒残差结构，没有使用升维的那个卷积层，因为他没有升维作用。
2023-06-15 17:28:12
178
原创 ResNeXt（Resnet升级版）
将输入特征矩阵的channel划分为2个组，再对每个组分别进行卷积操作，得到的输出矩阵拼接后，最终矩阵深度也是n。这就相当于对我们输入的特征矩阵的每一个channel分配了一个channel为1的卷积核进行卷积。4d：conv2中的一系列block的组卷积中每个组所采用的卷积核个数。## 当g=Cin，n=Cin时，这就是Dw conv。也就是将原来resnet中的（左边）替换成右边。对与层数小于3的block，组卷积没什么用。32：每个block的group都等于32。组卷积比平通卷积所需参数少。
2023-06-13 10:27:24
119
原创 RestNet详解vs迁移学习
1.载入权重之后，针对自己的数据集训练所有层的网络参数（将最后一层全连接层的节点格式改为自己的类别的个数，最后一层无法载入预训练模型参数，只针对第一种方式）假设每一层的误差梯度是一个小于1的数，那反向传播过程中，每向前传播一层，都要乘以一个小于1的数，当层数越多时，梯度越趋近于0。#####对于18层和34层的网络结构，conv2的第一层残差结构不需要用虚线的，因为由上面得到的输出矩阵正好符合下面的结构。但如果用迁移学习，就可以用别人预训练好的模型参数去训练自己的比较小的数据集，也能由比较好的效果。
2023-06-12 17:56:50
481
原创 GoogLeNet详解
图a，将上一层的输出矩阵同时输入到这四个分支中进行处理，将这四个矩阵处理后的特征矩阵按深度进行拼接，得到输出特征矩阵 （每个特征矩阵的高和宽必须相同）AlexNet和VGG都只有一个输出层，而GoogLeNet有三个输出层（其中有两个辅助分类层，即图中红圈，黑圈为主分类器）接下来用128个卷积核大小为1的卷积层进行处理，目的是降低维度，这里也使用了relu激活函数。图b中加入了三个1*1卷积核，起降维作用 （减少特征矩阵深度，减少所需参数）在两个全连接层中使用dropout函数，以0.7的概率失活神经元。
2023-06-08 17:27:49
142
原创 vgg详解
注意：最后一层全连接层不需要relu激活函数，因为他后面用softmax激活。堆叠两个3*3的卷积核替代5*5的卷积核（拥有相同的感受野）卷积输入输出的特征矩阵的高度和宽度是不变的（通过计算可知）经常使用的是16层的配置，13个卷积层加3个全连接层。经过最大下采样，特征矩阵的高度和宽度减小为一半。vgg网络中，卷积核的步距默认为1。
2023-06-07 20:46:36
94
原创 pytorch反向传播
求导后也就相当于把误差反向传播到了每一个节点，得到了每个点的损失梯度。计算多类损失时最后一层激活函数一般统一用softmax。求w11（2）的误差梯度也就是loss对其求偏导。softmax 处理后所有输出节点概率和为1。猫 狗 （输出只可能归于一个类别）人类 男人（输出可能归于多个类别）以求w11(2)的误差梯度进行讲解。sigmoid不满足任何分布。优化器是为了使网络更快的收敛。注意第二层并没有写激活函数。更新后的权重如上图右下角。第一个1：上层的第几个。第二个1：本层的第几个。
2023-06-07 11:06:15
62
原创 burp配置和抓包
1 先删除config2 安装jdk3打开burploader4改名 复制粘贴5把安装包放到其他位置抓包1打开当前页面2点击 open browser 在弹出的浏览器中输入www.baidu.com 回车3 点击action 点击send torepeater4 点击repeater 点击send 点击rand
2022-11-19 08:32:24
165
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人