自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

日拱一卒

知者行之始,行者知之成。君子务本,本立而道生。

原创 从卷积拆分和分组的角度看CNN模型的演化

博客:博客园 | CSDN | blog 写在前面 如题,这篇文章将尝试从卷积拆分的角度看一看各种经典CNN backbone网络module是如何演进的,为了视角的统一,仅分析单条路径上的卷积形式。 形式化 方便起见,对常规卷积操作,做如下定义, III:输入尺寸,长HHH 宽WWW ,令长宽...

2020-05-16 09:53:23 112 0

原创 Inception系列回顾

博客:博客园 | CSDN | blog 文章目录写在前面Inception-V1 (GoogLeNet)BN-InceptionInception-V2, V3Inception-V4,Inception-ResNet-v1,Inception-ResNet-v2参考 写在前面 Inceptio...

2020-05-16 09:51:16 93 0

原创 通俗易懂DenseNet

文章目录写在前面Dense Block与Transition LayerDenseNet网络架构与性能理解DenseNetPlain Net、ResNet与DenseNet参考 博客:博客园 | CSDN | blog 写在前面 在博客《ResNet详解与分析》中,我们谈到ResNet不同层之间的...

2020-02-29 17:47:44 88 0

原创 ResNet详解与分析

文章目录Resnet要解决的是什么问题Residual Block的设计ResNet 网络结构error surface对比Residual Block的分析与改进小结参考 博客:博客园 | CSDN | blog Resnet要解决的是什么问题 ResNets要解决的是深度神经网络的“退化”问题...

2020-02-29 17:45:34 242 0

原创 理解numpy中ndarray的内存布局和设计哲学

博客:博客园 | CSDN | blog 文章目录ndarray是什么ndarray的设计哲学ndarray的内存布局为什么可以这样设计小结参考 本文的主要目的在于理解numpy.ndarray的内存结构及其背后的设计哲学。 ndarray是什么 NumPy provides an N-dime...

2020-02-10 22:36:55 110 0

原创 python中如何查看指定内存地址的内容

博客:博客园 | CSDN | blog python中一般并不需要查看内存内容,但作为从C/C++过来的人,有的时候还是想看看内存,有时是为了验证内容是否与预期一致,有时是为了探究下内存布局。 from sys import getsizeof from ctypes import strin...

2020-02-10 22:33:43 431 0

原创 计算机视觉中的滤波

文章目录写在前面Padding滤波杂谈参考 博客:博客园 | CSDN | blog 写在前面 在计算机视觉中,滤波(filtering)是指 Image filtering: compute function of local neighborhood at each position. —...

2020-02-10 22:32:37 78 0

原创 数字图像处理,计算机视觉,计算机图形学,计算摄影

博客:博客园 | CSDN | blog 先上图,下图通过输入输出来区分不同学科。 计算机视觉(Computer Vision, CV),输入为图像或图像序列,输出为某种信息或描述,目的在于理解图像,获得语义信息。比如目标识别任务,输入一张图片,输出图中有哪些物体、都在什么位置,典型任务包括检测...

2020-02-10 22:30:20 159 0

原创 彻底搞懂感受野的含义与计算

文章目录什么是感受野约定感受野大小感受野中心小结参考 博客:博客园 | CSDN | blog 什么是感受野 The receptive field is defined as the region in the input space that a particular CNN’s featu...

2019-12-19 17:52:49 254 0

原创 远程桌面MATLAB启动失败问题解决

博客:博客园 | CSDN | blog 远程桌面打开MATLAB会报错,解决办法,打开matlab的licenses路径,如matlab/R2017b/licenses/,路径下存有license文件,如license_standalone.lic(可能为其他名字),打开文件,在每行如下位置添加...

2019-12-16 15:13:38 133 0

原创 直观理解为什么分类问题用交叉熵损失而不用均方误差损失?

文章目录交叉熵损失与均方误差损失损失函数角度softmax反向传播角度参考 交叉熵损失与均方误差损失 常规分类网络最后的softmax层如下图所示,传统机器学习方法以此类比, 一共有KKK类,令网络的输出为[y^1,…,y^K][\hat{y}_1,\dots, \hat{y}_K][y^​1​...

2019-12-12 22:30:11 275 0

原创 Batch Normalization详解

文章目录动机单层视角多层视角什么是Batch NormalizationBatch Normalization的反向传播Batch Normalization的预测阶段Batch Normalization的作用几个问题卷积层如何使用BatchNorm?没有scale and shift过程可不可...

2019-12-05 15:30:47 78 0

原创 常用数据结构操作与算法复杂度总结

文章目录时间复杂度常用数据结构操作与算法的复杂度输入规模较小时的情况引用 博客:blog.shinelee.me | 博客园 | CSDN 时间复杂度 如何评估一个算法的计算时间? 一个算法的实际运行时间很难评估,当时的输入、CPU主频、内存、数据传输速度、是否有其他程序在抢占资源等等,这些因素都...

2019-11-22 18:35:01 71 0

原创 网络权重初始化方法总结(下):Lecun、Xavier与He Kaiming

文章目录权重初始化最佳实践期望与方差的相关性质全连接层方差分析tanh下的初始化方法Lecun 1998Xavier 2010ReLU/PReLU下的初始化方法He 2015 for ReLUHe 2015 for PReLUcaffe中的实现小结参考 博客:blog.shinelee.me | ...

2019-11-22 09:08:11 226 0

原创 网络权重初始化方法总结(上):梯度消失、梯度爆炸与不好的初始化

文章目录前向传播与反向传播回顾梯度消失与梯度爆炸激活函数的影响权重矩阵的影响不良初始化参考 博客:blog.shinelee.me | 博客园 | CSDN 前向传播与反向传播回顾 神经网络的训练过程可以简化成以下步骤, 输入预处理(feature scaling等) 初始化网络weight和b...

2019-11-07 09:24:11 324 0

原创 为什么要做特征归一化/标准化?

文章目录写在前面常用feature scaling方法计算方式上对比分析feature scaling 需要还是不需要什么时候需要feature scaling?什么时候不需要Feature Scaling?小结参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 F...

2019-11-02 18:29:29 194 0

原创 直观理解梯度,以及偏导数、方向导数和法向量等

title: 直观理解梯度,以及法向量和切平面 mathjax: true date: 2019-10-17 17:59:53 tags: categories: 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 梯度是微积分中的基本概念,也是机器学习解优化问题经常使用...

2019-10-21 18:05:46 494 0

原创 如何编译和调试Python内核源码?

文章目录写在前面获取源代码源代码的组织windows下编译CPython调试CPython小结参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 如果对Python源码感兴趣,那“窥探”其实现的最佳方式就是调教它,不,调试它。 获取源代码 Python的官方默认实现为...

2019-10-16 15:26:31 118 0

原创 VGG(2014),3x3卷积的胜利

文章目录写在前面网络结构multi-scale training and testing其他有意思的点参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 VGG(2014)网络出自paper《Very Deep Convolutional Networks for L...

2019-10-14 20:09:27 63 0

原创 Network in Network(2013),1x1卷积与Global Average Pooling

文章目录写在前面mlpconv layer实现Global Average Pooling网络结构参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 《Network in Network》简称NIN,出自颜水成老师团队,首次发表在arxiv的时间为2013年12月,...

2019-10-11 17:56:49 39 0

原创 ZFNet(2013)及可视化的开端

文章目录写在前面网络架构与动机特征可视化其他参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 ZFNet出自论文《 Visualizing and Understanding Convolutional Networks》,作者Matthew D. Zeiler和R...

2019-09-21 15:23:05 68 0

原创 一文搞懂 deconvolution、transposed convolution、sub-­pixel or fractional convolution

文章目录写在前面什么是deconvolutionconvolution过程transposed convolution过程transposed convolution的计算整除的情况不整除的情况总结参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 开篇先上图,图为...

2019-09-20 21:00:20 373 0

原创 从AlexNet(2012)开始

文章目录写在前面网络结构创新点其他有意思的点参考 博客:blog.shinelee.me | 博客园 | CSDN 写在前面 本文重点在于回顾深度神经网络在CV领域的First Blood——AlexNet,AlexNet是首个在大规模图像识别问题取得突破性进展的深度神经网络,相比基于SIFT+F...

2019-09-10 12:03:42 179 0

原创 ImageNet主要网络benchmark对比

实际应用中,如何在速度、内存、准确率等各种约束下选择主干网络?有paper通过对各个网络模型进行对比分析,为这个问题提供了选择指南。 这篇博客主要整合了3篇文章的结论,这3篇文章分别是 201605-An Analysis of Deep Neural Network Models for Pr...

2019-08-28 19:46:23 876 0

原创 仿射变换及其变换矩阵的理解

博客:blog.shinelee.me | 博客园 | CSDN 文章目录写在前面仿射变换:平移、旋转、放缩、剪切、反射变换矩阵形式变换矩阵的理解与记忆变换矩阵的参数估计参考 写在前面 2D图像常见的坐标变换如下图所示: 这篇文章不包含透视变换(projective/perspective tr...

2019-05-30 17:35:11 1994 0

原创 B站上传字幕问题解决

B站上传字幕时,如果srt文件中出现如下空行,则会报错,仅上传了空行前的部分 于是写了个python脚本,如下: import pysrt import glob srt_files = glob.glob('./*.srt') for f in srt_files: ...

2019-05-23 13:58:33 2295 1

原创 卷积神经网络中的Winograd快速卷积算法

文章目录参考 博客:blog.shinelee.me | 博客园 | CSDN 图片出自论文Sparse Winograd Convolutional neural networks on small-scale systolic arrays 参考 arxiv: Fast Algorithm...

2019-05-22 16:06:01 1469 10

原创 im2col:将卷积运算转为矩阵相乘

博客:blog.shinelee.me | 博客园 | CSDN im2col实现 如何将卷积运算转为矩阵相乘?直接看下面这张图,以下图片来自论文High Performance Convolutional Neural Networks for Document Processing: 上图为...

2019-04-26 18:03:05 656 1

原创 Protocol Buffers(3):阅读一个二进制文件

博客:blog.shinelee.me | 博客园 | CSDN 这篇文章中,我们将定义一个相对复杂的数据结构,直接分析其序列化后的二进制文件。 Proto文件 编写tutorial.proto文件,在官方例子上略作修改,增加了float字段,以分析浮点数的存储方式。 syntax = "...

2019-04-20 17:34:58 61 0

原创 Protocol Buffers(2):编码与解码

文章目录Message Structure解码代码一窥varintProtobuf中的整数和浮点数Length-delimited相关类型小结参考 Message Structure 在上一篇文章中我们提到,对于序列化后字节流,需要回答的一个重要问题是“从哪里到哪里是哪个数据成员”。 messag...

2019-04-16 15:32:49 156 0

原创 Protocol Buffers(1):序列化、编译与使用

文章目录序列化与反序列化参考 序列化与反序列化 序列化(Serialization),是指将数据结构或对象以某种格式转化为字节流(不含与对象相关联的函数,后面只提数据结构),目的是将数据结构的状态保存下来(拍个快照),进而可以保存到文件或通过网络传输。 反序列化(Deserialization),...

2019-04-13 16:48:01 157 0

原创 论文学习-深度学习目标检测2014至201901综述-Deep Learning for Generic Object Detection A Survey

写在前面 paper:https://arxiv.org/abs/1809.02165 github:https://github.com/hoya012/deep_learning_object_detection,A paper list of object detection using d...

2019-02-14 18:19:17 157 0

原创 单变量微分、导数与链式法则

微分(Differential,differentiation, differential calculus),意味着求导数。 令y=f(x)y = f(x)y=f(x),即yyy是xxx的函数,xxx的变化将引起yyy的变化,xxx的变化量△x\triangle x△x导致yyy变化△y\tr...

2019-01-26 18:33:46 177 0

原创 Group Convolution分组卷积,以及Depthwise Convolution和Global Depthwise Convolution

博客:blog.shinelee.me | 博客园 | CSDN Group Convolution分组卷积,最早见于AlexNet,就是2012年Imagenet的冠军方法,Group Convolution被用来将切分网络,使其在2个GPU上并行运行,AlexNet网络结构如下: 在介绍Gr...

2019-01-09 10:57:30 4056 4

原创 VSCode Python开发环境配置

准备工作 anaconda安装,官网下载安装,笔者安装在"D:\Anaconda3" 安装好之后,查看环境变量path中是否有如下路径,没有的话添加进去 D:\Anaconda3 D:\Anaconda3\Scripts git安装,官网下载安装,默认安...

2019-01-07 17:14:09 1433 0

原创 Win10+RTX2080深度学习环境搭建:tensorflow、mxnet、pytorch、caffe

文章目录准备工作设置conda国内镜像源conda 深度学习环境tensorflow、mxnet、pytorch安装tensorflowmxnetpytorchCaffe安装配置文件修改编译时常见错误参考 GPU为RTX2080,系统为更新到最新版本的Win10。 准备工作 安装VS2015,到...

2018-12-26 17:42:49 2435 7

原创 真win10官方原版ISO下载方法

网上太多打着官方原版ISO旗号,下载下来捆绑了各种“流氓”软件,笔者深受其害。这篇文章将讲述如何获取真·官方原版ISO方法。

2018-12-24 20:27:20 60075 16

原创 我的Windows装机必备软件与生产力工具

2018年12月21日,最近要装新电脑,借此将自己常用的工具总结一下。 系统工具 wox,软件快速启动工具,有翻译等插件 everything,本地文件文件夹快速检索工具 ditto,剪贴板增强工具,缓存剪切历史 Total Commander 飞扬时空版,文件管理软件,替代系统资源管理器,有众...

2018-12-21 18:19:15 1597 0

原创 Caffe源码理解3:Layer基类与template method设计模式

博客:blog.shinelee.me | 博客园 | CSDN 文章目录写在前面参考 写在前面 参考 Blobs, Layers, and Nets: anatomy of a Caffe model

2018-12-19 16:53:43 113 2

原创 MTCNN算法与代码理解—人脸检测和人脸对齐联合学习

博客:blog.shinelee.me | 博客园 | CSDN 文章目录写在前面算法Pipeline详解如何训练损失函数训练数据准备多任务学习与在线困难样本挖掘预测及代码参考 写在前面 主页:https://kpzhang93.github.io/MTCNN_face_detection_ali...

2018-12-13 18:12:19 599 0

提示
确定要删除当前文章?
取消 删除