weixin_45757219的博客

原创 【swintransformer】

原创 Transformer在视觉中的应用VIT算法

2.196x768---------------------------分割为尺寸为16x16的patch序列s。224/16=14, 14*14个patch，一共196个patch。通道数变为768，768这个数是怎么出来的？16x16x3=768，即可以理解为把每个小patch的所有信息压成一个向量。1.224x224x3------------------------输入图片尺寸。

原创 (bert)

原创 transformer

并行处理，提高速度。

原创 U2-net 显著性目标检测（肖像数据集）

使用了空洞卷积 能在不改变特征图大小的情况下。这篇文章是将unet和resnet结合在一起。虽然网络比较复杂，但是通用性比较强。使用了深度监督 计算多个loss。resnet 加残差模块。

原创 【U-net++ 数据集：dsb2018_96 （细胞）代码部署问题】

Unet++的程序中出现AttributeError: module ‘albumentations.augmentations.transforms’ has no attribute ‘RandomRotate90’解决办法：module ‘albumentations.augmentations.transforms’ has no attribute ‘Resize’解决办法：

原创 U-net

原创 【分割里的卷积神经网络】

卷积神经网络的应用：检测任务、分类和检索（检索：淘宝拍照搜同款，先判断是什么，然后找哪个和它相似）、超分辨率重构（让图片更清晰）、医学任务、无人驾驶、人脸识别等。卷积神经网络就是做特征提取。

原创 语义分割概述

训练集的正负比例越接近于测试集的比例，只能保证模型在测试集上有较高的准确率，但是测试集正负样本比例如果不均衡，几乎不可能使用准确率作为评价指标，因为完全没有意义。这时候如果在训练的时候不对正负样本的比例进行均衡，训练出来的模型很可能在以上指标上表现很差。或者使用其他的损失函数，比如focal loss，或者在语义分割领域常用的dice loss，这样就减少了正负样本比例的不良影响了。这是损失函数决定的。如果使用交叉熵作为loss函数，则模型在训练的过程中会尽量保证尽可能多的样本被正确分类。

原创 Dataloader自定义数据集制作

1.数据和标签的目录结构先搞定(得知道到哪读数据)2.写好读取数据和标签路径的函数(根据自己数据集情况来写)3.完成单个数据与标签读取函数(给dataloader举一个例子)

原创 图像识别常用模块

数据量少的时候将很多层冻住，只训练输出层（预训练模型100分类，要训练的10分类）。相当于提取特征的方法都用别人训练得好的模型（预训练模型），不做更新。reshape用得不多，因为会固定维度，而全局平均池化的维度可以改变。数据量大的时候只把预训练模型做初始化，参数都做更新，在此基础上每一层都做微调。如果是全部参数都要学习，将params_to_update改成model_params。验证集的标准差和训练集保持一样，一般来说不会对验证集的参数做修改。：模型用别人训练好的，参数初始化用效果最好的。

原创 卷积神经网络初级

torchvision包常用的datasets和transforms：1datasets：处理数据集，并且自身也内置了数据集，2transforms做数据预处理，数据转换、增强等。x.view(x.size(0), -1) 最后得到一个矩阵，x.size(0)指的是x数据(batch_size。这里使用了2维卷积conv2d，因为图像就是针对一个小窗口，w*h就是2维的。w)的第一维即batchsize不变，-1是进行矩阵维度的自动计算。卷积网络更适合处理图像 数据，因为像素点之间是有关系的。

原创 pytorch

torch.nn.functional中有很多功能，后续会常用的。那什么时候使用nn.Module，什么时候使用nn.functional呢？一般情况下，如果模型有可学习的参数，最好用nn.Module，其他情况nn.functional相对更简单一些。对数据进行归一化，神经网络认为数值大的特征就更重要，但是有些数值本身就很大，比如年份，这样的情况下会影响后续模型学习情况，因此先对数据进行预处理，使其取值范围更为集中。dim是max函数索引的维度0/1，0是每列的最大值，1是每行的最大值。

原创 卷积神经网络

卷积核就相当于神经网络里面的参数w，卷积核直接没什么关系，各处理各的特征。反卷积是上采样的一种，分割经常用，让特征图越来越大。反卷积不是卷积的逆过程。2.卷积时只考虑了相邻的像素点，没有考虑距离远的像素点，只关注了局部信息；因为卷积核一般取3*3，所以padding一般为1,2，不要超过3。卷积核个数多一点好，得到更多特征图。1卷积代替全连接：效果差不多，全连接考虑每个像素点，1。卷积的参数和输入图片的大小无关，因为是权重共享的。CNN能做的transformer都能做。1卷积也一样的，操作类似。

原创 神经网络算法

batchsize的意义就是多个一起算损失，越大误差越小，些时候有噪音点，batchsize越大，这个点的影响越小。batch_size越大，模型越稳定，如果为1，刚好有一个数据为离群点，那效果就会出现很大的偏差。epoch训练轮数，类比打篮球，最先打得越多技术越好，但是打到一定程度就不再会有什么提升了。学习历史数据的规律、分布，新的数据分布也许会发生改变，股票等预测不现实。BN：每过一层后，都要做预处理，让数据分布尽量保持不变，有利于学习。是结果，简化中间的过程，只看结果，不考虑中间过程。

原创 【王木头学科学】对梯度下降法和反向传播的理解

这个式子代表的是这一个感知机的输出表达式，l代表第几层，下标i代表第l层第i个感知机。缩短两个模型（真是模型和神经网络训练的模型）之间的差距，用反向传播调整神经网络里面的参数，梯度下降就是反向传播的一种方法，还有牛顿法、冲量法等。w有两个下标，第一个下标代表的是第几层的第一个感知机，第二个下标代表的是这个系数的第几个分量。反向传播传播的是偏差的信息，把偏差传递到各个参数上，根据参数对偏差的贡献的大小。梯度指向的方向是数值增加最快的方向，反方向是数值减小最快的方向，和等高线垂直。新定义ji这一层的损失函数。

原创 【王木头学科学】损失函数的设计

1.最小二乘法2.极大似然估计3.交叉熵。

原创 【理解卷积神经网络的底层原理】从“卷积”、到“图像卷积操作”、再到“卷积神经网络”，“卷积”意义的3次改变

图片是f（图片的像素点总是在变化）卷积核是g（卷积核不变）很多像素点对某一个像素点是如何产生影响的平滑卷积操作：求平均平滑（让周围的像素点和自己的差距不要太大）卷积核：规定周围的像素点是如何对当前的像素点产生影响33：周围一圈像素点55：周围两圈 7*7：周围三圈像素点不是连续的，所以这里是求和而不是积分此时f g的对应关系还不是很直接 ，因此将g旋转180°一一对应因此，g函数不是卷积核，旋转180°后才是卷积核卷积核是可以直接扣在图像上进行相乘再相加。

原创 【Pytorch深度学习实践】刘二大人11 Advanced CNN

定义网络时要注意减少代码冗余（eg:函数/类），找出相同的代码块Inception块：四条路算完要保证图像的高度和宽度要一致（b,c,w,h），c可以不同 （做padding）Average Pooling：设置相应的padding和stride 保证图像大小不变Concatenate:把张量拼接在一起括号里面的是输出通道数的大小。

原创 【Pytorch深度学习实践】刘二大人10初级卷积神经网络

全连接网络会丧失空间信息卷积层保留图像空间信息下采样不会改变通道数，宽度和高度会发生改变（减少数据数据量，减少feature maps，降低运算需求）明确输入输出张量的维度view将多维图像拉平为一维张量，进入全连接层，然后进行分类（如图就是按照某种顺序展开成第一个通道的四行，第二个通道的四行。。。。神经网络基本结构：通过卷积运算提取特征：Feature Extraction全连接网络进行分类：Classification。

原创 【Pytorch深度学习实践】刘二大人9多分类问题

输出不做激活，激活包含在CrossEntropyLoss()函数中，

原创 【Pytorch深度学习实践】刘二大人8加载数据集

【代码】【Pytorch深度学习实践】刘二大人8加载数据集。

原创 【Pytorch深度学习实践】刘二大人7处理多维特征的输入

【代码】【Pytorch深度学习实践】刘二大人7处理多维特征的输入。

原创 【Pytorch深度学习实践】刘二大人6 Logistics Regression

【代码】【Pytorch深度学习实践】刘二大人6 Logistics Regression。

原创 PyTorch 深度学习实践 第4讲反向传播back propagation

【代码】PyTorch 深度学习实践 第4讲反向传播back propagation。

原创 【Pytorch深度学习实践】B站up刘二大人课程笔记Linear Regression with PyTorch-代码理解与实现

【代码】【Pytorch深度学习实践】B站up刘二大人课程笔记Linear Regression with PyTorch-代码理解与实现。