深度学习
Elvirangel
一颗上进的心
展开
-
faster rcnn手写笔记
faster rcnn原创 2021-12-18 17:54:45 · 497 阅读 · 0 评论 -
pytorch实现L2和L1正则化regularization的方法
pytorch实现L2和L1正则化regularization的方法https://github.com/PanJinquan/pytorch-learning-notes深度学习中,使用REGULARIZATION正则化(WEIGHT_DECAY)的好处,LOSS=NAN原创 2020-09-03 16:57:33 · 767 阅读 · 0 评论 -
神经网络中参数数量的计算和输出尺寸的计算
AlexNet网络中张量(图像)尺寸和参数数量卷积神经网络的参数计算神经网络中参数数量的计算在实验中,经常需要计算网络的参数量和预算量。参考:https://github.com/nmhkahn/torchsummaryX运算量和参数量的计算代码 # Calculate params & FLOPs from torchsummaryX import summary dummy_input = torch.zeros(1, 3, 128, 128).c原创 2020-08-31 17:17:49 · 782 阅读 · 0 评论 -
BatchNorm1d、BatchNorm2d、BatchNorm3d、归一化、激活函数、梯度消失、梯度爆炸
Pytorch:BatchNorm1d、BatchNorm2d、BatchNorm3d pytorch常用normalization函数 Pytorch常用张量操作以及归一化算法实现 如何区分并记住常见的几种 Normalization 算法 聊一聊深度学习的activation function 谈谈激活函数以零为中心的问题 PyT...原创 2020-04-27 22:52:59 · 10653 阅读 · 0 评论 -
深度学习 技巧
An overview of gradient descent optimization algorithms怎么选取训练神经网络时的Batch size?PyTorch学习笔记(9)——nn.Conv2d和其中的padding策略机器学习大牛最常用的5个回归损失函数,你知道几个?https://www.jiqizhixin.com/articles/2018-0...原创 2020-04-22 22:00:51 · 180 阅读 · 0 评论 -
卷积计算细节
本文链接:卷积神经网络各层分析链接: CNN中卷积层的计算细节原创 2019-09-18 15:37:24 · 580 阅读 · 7 评论 -
反卷积、上采样、上池化
反卷积、上采样、上池化反卷积、上采样、上池化图示理解,如上所示。目前使用得最多的deconvolution有2种。方法1:full卷积, 完整的卷积可以使得原来的定义域变大上图中蓝色为原图像,白色为对应卷积所增加的padding,通常全部为0,绿色是卷积后图片。卷积的滑动是从卷积核右下角与图片左上角重叠开始进行卷积,滑动步长为1,卷积核的中心元素对应卷积后图像的像素点。可以看...转载 2019-08-06 15:32:03 · 568 阅读 · 0 评论 -
目标检测之选择性搜索-Selective Search
原文:第三十三节,目标检测之选择性搜索-Selective Search目录一 选择性搜索的具体算法(区域合并算法) 二 保持多样性的策略 1、颜色空间变换 2、区域相似度计算 三 给区域打分 四 选择性搜索性能评估 1、单一策略评估 五、代码实现在基于深度学习的目标检测算法的综述那一节中我们提到基于区域提名的目标检测中广泛使用的选择性搜索算法。并且该...转载 2019-08-05 16:09:07 · 372 阅读 · 0 评论 -
FCN的理解
转载:FCN的理解其他:FCN全卷积网络 FCN的学习及理解(Fully Convolutional Networks for Semantic Segmentation) 利用FCN-8s网络训练自己数据集(NYUD为例) FCN_TensorFlow——VGG16_FCN8s构造代码分析FCN的理解直观展现...原创 2019-07-17 15:59:47 · 365 阅读 · 0 评论 -
cv2、skimage读取和plt 显示图像需要注意的问题
1 cv2.imread()1.1 cv2.imread()的使用使用cv2.imread()函数读取图像。图像应该当前路径下,或者给出完整的图像路径。第二个参数是一个标识,它用来指定图像的读取方式。以下是官方文档的参数说明:cv2.IMREAD_COLOR : Loads a color image. Any transparency of image will be negl...原创 2019-07-12 11:40:15 · 2705 阅读 · 0 评论 -
Python各类图像库的图片读写方式总结
Python各类图像库的图片读写方式总结转载:Python各类图像库的图片读写方式总结 最近在研究深度学习视觉相关的东西,经常需要写python代码搭建深度学习模型。比如写CNN模型相关代码时,我们需要借助python图像库来读取图像并进行一系列的图像处理工作。我最常用的图像库当然是opencv,很强大很好用,但是opencv也有一些坑,不注意的话也会搞出大麻烦。近期我也在看一...转载 2019-07-12 10:57:56 · 601 阅读 · 0 评论 -
Keras中模型训练、测试、改进技巧总结
观察模型的效果1. 训练集的准确率accuracy应该会高于测试集2. 观察训练轮数epoch与准确率accuracy、损失loss的关系改进网络的方法1. 增加隐藏层改进简单的网络2. 使用dropout进一步改进简单网络3. 选择更好的优化器optimizer4. 增加训练轮数epoch5. 控制优化器的学习率...原创 2019-07-05 20:15:42 · 4933 阅读 · 2 评论 -
Keras中写一个网络的步骤
Keras中写一个网络的步骤1.载入数据2. 数据预处理 包括对数据进行归一化,分成训练集,测试集,验证集,对标签进行to_categorical()操作等等。3. 定义模型model(1)贯序模型方式 (2)函数式方式4. 编译模型(1)选择优化器 这是选择训练模型时更新权重的特定算法。如Adam、SGD、Mom...原创 2019-07-04 16:23:13 · 304 阅读 · 0 评论 -
Keras中权重weight的初始化
Keras 的原始构造模块是模型,最简单的模型称为序贯模型, Keras 的序贯模型是神经网络层的线性管道 ( 堆栈) 。以下代码段定义了 一个包含 12 个人工神经元的单层 网络,它预计有 8 个输入变量 ( 也称为特征):from keras.models import Sequentialmodel =Sequential()model.add(12,input_dim=8,...原创 2019-07-04 09:58:49 · 6367 阅读 · 0 评论 -
PyTorch 常用方法总结1:生成随机数Tensor的方法汇总(标准分布、正态分布……)
PyTorch 常用方法总结1:生成随机数Tensor的方法汇总(标准分布、正态分布……) 在使用PyTorch做实验时经常会用到生成随机数Tensor的方法,比如:torch.rand()torch.randn()torch.normal()torch.linespace()在很长一段时间里我都没有区分这些方法生成的随机数究竟有什么不同,由此在做实验的时候经常会引起一...原创 2018-12-30 09:52:37 · 728 阅读 · 0 评论 -
Python中的super用法详解
(脚本之家)这篇文章主要介绍了Python中的super用法详解,本文讲解了关于super问题的发现与提出、走进Python的源码世界分析super的实现、延续的讨论super等内容,需要的朋友可以参考下:https://www.jb51.net/article/66912.htm 如果在子类中也定义了构造器,既_init_()函数,那么基类的构造器该如何调用呢?方法一、明确指定 使...原创 2018-12-30 10:57:13 · 460 阅读 · 0 评论 -
神经网络 专业术语解释(Step, Batch Size, Iteration,Epoch)
原文:https://blog.csdn.net/tracylining/article/details/807819371. 名词解释Step: 训练模型的步数Batch Size(批尺寸): 计算梯度所需的样本数量,太小会导致效率低下,无法收敛。太大会导致内存撑不住,Batch Size增大到一定程度后,其下降方向变化很小了,所以Batch Size是一个很重要的参数。Epoc...转载 2019-01-16 16:51:44 · 873 阅读 · 0 评论 -
Keras中模型 《th与tf的区别》、《notop的含义》
th与tf的区别==================Keras提供了两套后端,Theano和Tensorflow,th和tf的大部分功能都被backend统一包装起来了,但二者还是存在不小的冲突,有时候你需要特别注意Keras是运行在哪种后端之上,它们的主要冲突有:dim_ordering,也就是维度顺序。比方说一张224*224的彩色图片,theano的维度顺序是(3,224,22...原创 2019-03-27 20:37:27 · 3886 阅读 · 0 评论 -
tensorflow 关于张量 shape 数组
转:https://blog.csdn.net/u013378306/article/details/56281549张量的阶、形状、数据类型TensorFlow用张量这种数据结构来表示所有的数据.你可以把一个张量想象成一个n维的数组或列表.一个张量有一个静态类型和动态类型的维数.张量可以在图中的节点之间流通.阶在TensorFlow系统中,张量的维数来被描述为阶.但是张量的阶和矩阵的...转载 2019-05-06 16:44:59 · 1049 阅读 · 0 评论 -
keras tensorboard的使用, 设置指定GPU及其内存, 强制只使用cpu
参考:https://blog.csdn.net/xiaojiajia007/article/details/728657641.强制只使用cpu:import os#os.environ["CUDA_DEVICE_ORDER"] = "PCI_BUS_ID" # see issue #152os.environ["CUDA_VISIBLE_DEVICES"] = "-1"...原创 2019-05-06 19:50:27 · 516 阅读 · 1 评论 -
keras中 损失函数 与 评价函数 详解
1. 损失函数 loss损失函数(或称目标函数、优化评分函数)是编译模型时所需的两个参数之一:model.compile(loss='mean_squared_error', optimizer='sgd')from keras import lossesmodel.compile(loss=losses.mean_squared_error, optimizer='s...原创 2019-05-06 21:04:18 · 5523 阅读 · 1 评论 -
Jupyter Notebook 快捷键
Jupyter Notebook 快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式,允许你往单元中键入代码或文本;这时的单元框线是绿色的。命令模式,键盘输入运行程序命令;这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter: 转入编辑模式 Shift-Enter: 运行本单元,选中下个单元 Ctrl-Enter: 运行本单元 Alt-Ente...原创 2019-05-21 10:44:59 · 94 阅读 · 0 评论 -
关于感受野 (Receptive field) 你该知道的事
转自:https://iphysresearch.github.io/posts/receptive_field.html。。。。等等补充自己的理解:layer3:回推出layer2:conv2的结果,k=3*3 padding=1 stride=2其中layer3中的红色块对应layer2中的红色块,layer3中的红色块所表达的感受野大小是下图5*5...原创 2019-05-31 10:46:12 · 210 阅读 · 0 评论 -
Keras中Callback函数的使用
回调函数Callbacks回调函数是一组在训练的特定阶段被调用的函数集,你可以使用回调函数来观察训练过程中网络内部的状态和统计信息。通过传递回调函数列表到模型的.fit()中,即可在给定的训练阶段调用该函数集中的函数。【Tips】虽然我们称之为回调“函数”,但事实上Keras的回调函数是一个类,回调函数只是习惯性称呼Callback例子No.1:官网示例保存训...原创 2019-07-08 15:07:34 · 4021 阅读 · 0 评论 -
估计、偏差 、方差
模型性能的度量在监督学习中,已知样本 ,要求拟合出一个模型(函数),其预测值与样本实际值的误差最小。考虑到样本数据其实是采样,并不是真实值本身,假设真实模型(函数)是,则采样值,其中代表噪音,其均值为0,方差为。拟合函数的主要目的是希望它能对新的样本进行预测,所以,拟合出函数后,需要在测试集(训练时未见过的数据)上检测其预测值与实际值之间的误差。可以采用平方误差函数(mean squa...原创 2019-07-03 09:49:43 · 8888 阅读 · 0 评论 -
卷积网络的参数数量
详细解释CNN卷积神经网络各层的参数和链接个数的计算 - CSDN博客卷积神经网络中的参数计算CNN中卷积层的计算细节原创 2019-07-09 09:47:04 · 794 阅读 · 0 评论 -
keras的model保存和载入
保存keras的model文件和载入keras文件的方法有很多。keras中的模型主要包括model和weight两个部分。保存模型结构保存model部分的主要方法:一是通过json文件,二是通过Yaml文件Json文件# serialize model to JSONmodel_json = model.to_json()with open("model.json", ...原创 2019-07-09 11:38:30 · 6324 阅读 · 0 评论 -
Global Average Pooling与FC、Global Max Pooling的比较
原文 Global Average Pooling(简称GAP,全局池化层)技术最早提出是在这篇论文(第3.2节)中,被认为是可以替代全连接层的一种新技术。在keras发布的经典模型中,可以看到不少模型甚至抛弃了全连接层,转而使用GAP,而在支持迁移学习方面,各个模型几乎都支持使用Global Average Pooling和Global Max Pooling(G...转载 2019-07-09 15:29:40 · 2141 阅读 · 0 评论 -
TensorFlow 官方文档中文版学习
TensorFlow 官方文档中文版 地址:http://wiki.jikexueyuan.com/project/tensorflow-zh/原创 2018-12-20 16:46:45 · 876 阅读 · 0 评论