![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
huahuahuahhhh
一步一步,慢慢来
展开
-
查看pytorch模型种权重的名字及值
查看pytorch模型种权重的名字及值原创 2022-10-22 15:11:48 · 2374 阅读 · 1 评论 -
BCE loss和 CE理解
BCE loss pytorch官网链接BCE loss:Binary Cross Entropy Losspytorch中调用如下。设置weight,使得不同类别的损失权值不同。其中x是预测值,取值范围(0,1), target是标签,取值为0或1.在Retinanet的分类部分最后一层的激活函数用的是sigmoid,损失函数是BCE loss.BCE loss可以对单个类别进行求损失,配合sigmoid(每个类别单独求概率,不同类别间互不影响)。相当于是把每个类别都看成了二分类的问题,为后面使原创 2021-08-19 14:43:31 · 15164 阅读 · 0 评论 -
激活函数
激活函数 https://www.cnblogs.com/makefile/p/activation-function.html原创 2020-10-14 14:21:58 · 102 阅读 · 0 评论 -
神经网络中的激活函数的比较
常见激活函数神经网络中,常见的激活函数有以下几种:sigmoid$$tanhsigmoid和tanh都是S型的非线性激活函数,不同的是sigmoid将响应值限制在了(0,1),而tanh则是(-1,1)ReLULeaky ReLUPReLU 参考RReLU...原创 2019-07-26 15:29:25 · 468 阅读 · 0 评论 -
Normalization
文章内容摘自 https://zhuanlan.zhihu.com/p/43200897b一、激活还是权重的Norm1. 激活norm:BatchNorm、LayerNorm、InstanceNorm、GroupNorm2. 权重norm:Weight Norm(L1、L2正则)至于深度学习中的Normalization,因为神经网络里主要有两类实体:神经元或者连接神经元的边,所以按照规...转载 2019-07-27 15:25:04 · 359 阅读 · 0 评论 -
flyai下载预训练的keras模型
FlyAI预训练模型地址原创 2019-05-30 16:38:37 · 1402 阅读 · 16 评论 -
全卷积神经网络
Fully Convolutional Networks for Semantic Segmentation 论文链接一、文章创新点这篇文章在结构上将卷积神经网络最后几层的全连接层用卷积层替代。为了用在语义分割任务重,对于卷积后得到的结果上采样到原图的大小。在上采样的过程中,不仅仅是上采样最后一层pool5层,得到FCN-32s(特征图长宽扩大32倍,与原图大小相同。基于AlexNet),...原创 2019-09-26 17:44:08 · 826 阅读 · 0 评论 -
DFANet: Deep Feature Aggregation for Real-Time Semantic Segmentation(笔记)
论文地址一、主要内容介绍1. 问题背景对于高分辨率的图像,如何在高推断速度的情况下,保证推断精度呢?U型网络的分割效果不错,但是计算量较大;一些方法通过减小输入图像的尺寸或者裁剪掉多余的通道来提高推断的速度,但是会损失边界部分的细节以及对于小目标识别效果不好;浅层的网络削弱了特征的辨别能力。针对这些问题,有人提出将空间细节和上下文信息结合在一起的多分支框架(Figure 2(a))...原创 2019-07-08 15:32:24 · 883 阅读 · 0 评论 -
Kaggle狗的种类识别竞赛——基于Pytorch框架的迁移学习方法
本文代码主要参考:https://www.kaggle.com/blankitdl/using-pytorch-resnet/edithttps://www.kaggle.com/blankitdl/use-pretrained-pytorch-models/edit一、基本介绍比赛题目Dog Breed Identification官网对于比赛的介绍In this playgro...原创 2019-06-11 16:58:19 · 3076 阅读 · 3 评论 -
模型优化算法
有哪些优化算法Pytorch中的优化器原创 2019-05-21 18:18:09 · 3399 阅读 · 2 评论 -
偏差、方差、贝叶斯误差
偏差、方差、贝叶斯误差原创 2019-05-27 09:12:17 · 3625 阅读 · 0 评论 -
详解机器学习中的梯度消失、爆炸原因及其解决方法
参考在深度学习中, 误差在神经网络模型从后往前传播的过程中,随着模型的深度的增加,容易出现梯度炸或者梯度消失的问题。解决梯度消失、爆炸主要方法:...原创 2019-05-27 15:05:23 · 194 阅读 · 0 评论 -
Pytorch迁移学习
参考一、定义迁移学习是在A问题上训练好的模型,应用到B问题上。比较严格的定义:迁移学习定义如下,给定了源域(source domain)和源任务(source task)、目标域(target domain)和目标任务(target task),利用源域在解决任务中获得一些知识来提升目标任务的这样一种算法。其中源域与目标域不相等或者源任务与目标任务不相同。而这里域的不同可以分解为两个方...原创 2019-06-05 15:52:10 · 1469 阅读 · 0 评论 -
博文收藏
Inception 系列结构https://blog.csdn.net/loveliuzz/article/details/79135583原创 2019-06-05 16:57:33 · 3911 阅读 · 0 评论 -
Colaboratory下载Kaggle数据
进入Kaggle的账户新建一个API Token.就会下载一个kaggle.json文件。同时出现下面提示。这个在本地运行的时候,需要将kaggle.json放在相应的位置。打开kaggle.json,复制username和key值,下图中涂掉的部分在Colaboratory中的root下,新建.kaggle文件夹!mkdir ../root/.kaggle,在该路径下新建kagg...原创 2019-05-29 14:18:04 · 648 阅读 · 0 评论 -
Pytorch中图像预处理相关函数
数据处理是模型训练之前的必备的一步,在Pytorch的TORCHVISION.TRANSFORMS.TRANSFORMS包含下面一下图像处理的函数:Compose"Composes several transforms together” 组合几种不同的变形方法ToTensorConvert a PIL Image or numpy.ndarray to tensor. Co...原创 2019-06-01 17:35:45 · 1967 阅读 · 0 评论 -
计算卷积神经网络中参数量
参考卷积神经网络的参数包含:卷积层的权重和偏置,全连接层的权重和偏置全连接层参数量在计算参数量前,先了解卷积计算过程。如下图,给定的图像尺寸是32x32x3(高,宽,深度)。对这张图像进行卷积,需要卷积核与输入图像有相同的深度,即3. 这个卷积核的参数量为5*5*3=75。但这只是权值的参数量,不要忘了偏置。所以,这个卷积核总的参数量是5*5*3 + 1=76.来看一个实际的例子一个卷...原创 2019-06-14 17:55:17 · 3800 阅读 · 0 评论 -
ResNext(2017)解读
论文链接看网络的名字,可以推想出,它是在ResNet(2016)的升级版。在网络结构上,它和ResNet相似,采用短路连接(shortcut connection).那么它有什么不同点呢?先看下这两个网络的一个block的结构,如下图。直观的感觉,ResNext变宽了,而且卷积层的输入输出通道数不一样。图 1网络结构设计的规则主要是:沿用VGG/ResNet高度模块化的设计网络由一些...原创 2019-06-14 22:20:18 · 2164 阅读 · 0 评论 -
防止过拟合,采用的手段有哪些?
过拟合过拟合是模型的偏差小而方差大,即模型在训练集上拟合得很好,在测试集上的效果却很差。所以防止过拟合,就是要减小方差。防止过拟合的方法从源头上,扩充数据集,收集更多的数据或者采用数据增强的方法(数据增强方法有哪些)。对于模型参数的处理方法,采用L1, L2正则化和dropout 的方法(正则化方法有哪些?)对于训练方法,采用Early stopping。采用bagging的方法其...原创 2019-05-21 14:19:12 · 1189 阅读 · 0 评论