![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
machine-learning
编码视界
fangliangsong@foxmail.com
https://zhuanlan.zhihu.com/c_157245427
展开
-
模型误差的来源
误差有两个方面:bias和variance。 简单的模型(如线性模型),variance比较小,且不容易受样品数据影响,不易过拟合。相反,复杂的模型的bias比较小。原创 2017-06-24 20:31:01 · 5672 阅读 · 0 评论 -
CNN Feature Map维度的一般规律
Feature map的维度在CNN的各层中是变化的,了解feature map的维度变化规律是学习网络结构的一把钥匙。CNN某一层的Feature map一般是三维的:长、宽、通道数,由于长和宽往往是联系在一起的,所以本文从空间分辨率和通道数两方面进行介绍。空间分辨率的一般规律 对于图像分类任务而言,CNN feature map空间分辨率单调递减,并最终在全连接层减少到1x1。减少空间分...原创 2018-01-06 20:13:20 · 5324 阅读 · 0 评论 -
解卷积的维度计算
解卷积(deconvolution)或者反卷积,类似于卷积的逆运算;如果按照严格的数学公式来叫,应该叫做“转置卷积(transpose convolution)”。解卷积最直观的作用是扩大feature map的分辨率,在语义分割任务中被广泛使用。解卷积的维度计算公式如下: w_new = stride*w - 2*pad + (kernel-stride) 从上面的公式可以看到:与卷积相...原创 2018-03-20 21:06:21 · 4583 阅读 · 0 评论 -
论文阅读:Attention to Scale: Scale-aware Semantic Image Segmentation
论文的下载地址:https://arxiv.org/abs/1511.03339v2 论文的中心思想:将注意力机制用到多分辨率输入的语义分割网络中。 注意力机制:其实就是对feature map做加权,且加权的权重在训练的时候学习的。文章认为软注意力机制优于两个feature map做pooling。很多语义分割网络融合了多尺度(多分辨率)的特征,但方法不尽相同。一种常见的结构是SPP...原创 2018-04-08 22:11:16 · 3077 阅读 · 1 评论 -
Deeplib v1
Deeplib系列目前包括Deeplib v1、Deeplib v2、Deeplib v3、Deeplib v3+,是图像语义分割中较有影响力的方法。Deeplib v1的论文题目:“Semantic Image Segmentation with Deep Convolutional Nets and Fully Connected CRFS”,下载地址:https://arxiv.org/pd...原创 2018-03-26 22:33:55 · 882 阅读 · 0 评论 -
关于图像语义分割
1、图像分割与图像语义分割的区别 传统的图像分割算法基于无监督学习,不知道分割出来的对象的类别。图像语义分割一般基于深度学习,主要是用CNN,也有个别会用到RNN的;此外,图像语义分割属于监督学习的任务,即在训练时会给出每个像素的类别。2、图像的密集分类问题 语义分割是个密集分类问题,需给每个像素分类,故语义分割和图像分类的目标有较大差异。为了适应这种差异,人们提出了带洞卷积。带洞卷积在语...原创 2018-01-29 22:27:04 · 2149 阅读 · 0 评论 -
论文阅读:Accurate, Large Minibatch SGD: Training ImageNet in 1 Hour
该文说训练神经网络有一个现象:batch size的增大到一定程度,Resnet的准确率会下降。这个现象推翻了以前的一个直觉:前觉得batch size越大,训练的效果会越好。为了解决这个问题,论文提出了一种trick:让学习率lr随着batch size线性增大(Linear Scaling Rule),在batch size区间[64(2^6), 8192(2^13)]得到了几乎不变的准确...原创 2018-04-17 22:41:53 · 2923 阅读 · 0 评论 -
人脸识别之度量学习
由于人脸识别存在测试集的类别不在训练集中的问题(open dataset),使得较新的人脸识别方法的核心在于度量学习(loss的定义),使得未知类之间较好地分开。这个度量学习其实就是修改softmax的定义。到目前为止主要有以下几种loss:1、center loss / contrastive loss 在softmax的基础上加入关于feature vector的L2度量,使得类内高...原创 2018-05-16 22:47:52 · 2864 阅读 · 0 评论 -
论文阅读:Mask R-CNN
Mask R-CNN获得了ICCV 2017 best paper award (Marr prize),下载地址:https://arxiv.org/abs/1703.06870这篇文章的核心idea:给Faster R-CNN加入分割支路,使其可进行实例分割(instance segmentation)。idea虽然简单,但要想让其work,路上还有很多坑,解决这些坑的方案就构成了论文的创...原创 2018-04-27 21:47:35 · 447 阅读 · 0 评论 -
Wide Residual Networks
最近在研究ResNet的各种变体,看到一个宽残差网络(Wide Residual Networks)。它所谓的宽度(width)指卷积层的输出通道数,它希望通过通道翻N倍来换取较浅的网络(depth),以此来提高inference的时候的速度。文章地址:https://arxiv.org/abs/1605.07146它不能增大卷积核来扩大所谓的宽度,因为从VGG开始的各种网络已经抛弃大卷积核。...原创 2018-02-13 23:27:48 · 900 阅读 · 0 评论 -
VGGNet结构分析
VGG是Visual Geometry Group, Department of Engineering Science, University of Oxford的缩写。他们组参加ILSVRC 2014时候组名叫VGG,所以提交的那种网络结构也叫VGG,或者叫VGGNet。VGG和GoogleNet同在2014年参赛,图像分类任务中GoogLeNet第一,VGG第二,它们都是重要的网络结构。...原创 2018-01-06 17:56:06 · 16462 阅读 · 2 评论 -
关于DRL
DRL: deep reinforcement learning DRL = DL (deep learning) + RL (reinforcement learning)大多数情况下,reward既不为正,也不为负,为0,导致RL非常难训练。 Alpha Go是监督学习+增强学习。在一开始,学习按照人的棋谱下棋,然后学到一定程度,再自己跟自己下。原创 2017-08-06 17:48:56 · 882 阅读 · 0 评论 -
何恺明相关工作小结
本文只总结本人学习到的何恺明的相关工作。 0、PReLU。Delving Deep into Rectifiers: Surpassing Human-Level Performance on ImageNet Classification。 1、MSRA初始化。在Xavier初始化的基础上乘以根号2。Delving Deep into Rectifiers: Surpassing Human-原创 2017-08-22 17:15:07 · 902 阅读 · 0 评论 -
深度学习网络搭建与编程范式
TensorFlow搭建网络时采用static graphs,即先用函数式的编程范式定义网络,再训练,定义网络结构时没有计算,计算全部在训练模块里。搭建网络时,函数作为变量传递给函数。 PyTorch搭建网络时采用dynamic graphs,不事先搭建网络直接计算,计算过程本身就是网络的结构,属于(命令式)面向过程/基于对象的编程范式。这是人们习惯的命令式的”define by run“编程范原创 2017-08-09 09:49:53 · 828 阅读 · 0 评论 -
论文阅读:Fixing Weight Decay Regularization in Adam
论文地址:https://arxiv.org/abs/1711.05101 知乎上别人的分享:https://www.zhihu.com/question/67335251中心思想就是让权重衰减与学习率脱钩。原创 2017-11-22 14:53:44 · 2877 阅读 · 0 评论 -
CNN网络结构中的领域知识
CNN被普遍认为可以用于替代人工特征提取,然而,设计网络结构时,其实已经利用了图像的领域知识。例如: 局部感知:图像的空域相关性; 权值共享:图像的平移不变性; 带孔卷积:扩大图像感知域; 空域金字塔池化(SPP: spacial pyramid pooling):感知图像上下文信息CNN网络中隐含了图像信号内部结构的先验知识:权值共享利用了图像的平移不变性,局部连接利用了图像的空间相原创 2017-12-19 11:26:37 · 712 阅读 · 0 评论 -
关于MobileNet
MobileNet中将传统的卷积运算分成两步:分通道卷积(分组卷积,且group=输入通道数M)、单像素卷积。分通道卷积用M个卷积核生成M个feature map,单像素卷积对feature map进行线性组合。文章的时间复杂度计算没问题。 唯一有疑问的地方在于,这M个卷积核足够表征原始的M*N个卷积核吗?分两步的卷积得到的卷积滤波器空间只是原始三维卷积滤波器空间的子空间吗? 文章标题:Mobi原创 2017-08-19 15:14:41 · 1623 阅读 · 2 评论 -
Session.run与Tensor.eval的区别
在这个问题stackoverflow中说的很清楚: https://stackoverflow.com/questions/33610685/in-tensorflow-what-is-the-difference-between-session-run-and-tensor-eval#翻译一下,唯一的区别在于:使用session.run可以传入多个张量,即可以传入张量列表。原创 2017-12-30 12:13:38 · 394 阅读 · 0 评论 -
神经网络的权重初始化
权重初始化的合理与否常常决定了训练时网络能否收敛。常用的神经网络权重初始化方法有xavier和msra。由于基于的激活函数的假设不一样,msra的方差是xavier的2倍。xavier初始化基于线性激活函数,线性激活函数相当于没有激活函数。原始论文发表于2010年,当时卷积神经网络尚未被引爆,因此是基于多层感知器网络的。假使论文的读者以为是基于卷积神经网络,可能对其中的个别符号会有误解。例如在原创 2018-01-05 21:27:35 · 3902 阅读 · 0 评论 -
CNN经典网络中的模型压缩方法
CNN的模型文件通常比较大,给实际应用带来了困难。为了解决这个问题,人们通常使用模型压缩的方法。本文介绍经典网络中包含的模型压缩方法。卷积层参数个数计算公式:c_out*c_in*k_w*k_h。从公式可以看到,要想减少卷积层的参数个数,要么使用比较小的卷积核,要么减少通道数。VGG相比于AlexNet,一个显著的特点就是卷积核的尺寸从7x7缩小为3x3,从而减少了网络的参数个数。卷积核感原创 2018-01-15 22:15:19 · 3750 阅读 · 0 评论 -
ResNet结构分析
本文主要分析残差网络(ResNet)及其变种的结构。残差网络在论文Deep Residual Learning for Image Recognition中被提出。论文链接:https://arxiv.org/pdf/1512.03385.pdf1. Building block和Bottleneck结构 首先resnet由building block或bottleneck组成。buildi...原创 2017-12-23 11:30:25 · 55344 阅读 · 4 评论 -
SEnet
最近看一些人脸识别的论文使用了SEnet,所以认真看了下SEnet的代码。SEnet使用并联结构添加了对通道的注意力机制:这种并联结构在deformable convolution中也见过:...原创 2019-01-07 17:28:39 · 2161 阅读 · 0 评论