神经网络
williamyi96
PhD Student on Machine Learning, Optimization, Federated Learning, and Data-Efficient Learning.
展开
-
CS231N(1)-- 简介
CS231N是一门讲解卷积神经网络及其相关知识的经典课程,从今天开始将进行卷积神经网路的重温以及系统化地学习。首先是简介部分的相关内容,主要讲解的是机器视觉的相关历史以及课程的相关情况。以下总结内容(以及以后的总结内容)将以个人的感受为主,希望对相关问题能够进行系统化地梳理。一个小插曲,当我注册的时候一个问题相当地有趣:以下仅仅以几个较为突出的算法来进行分析。Image SegmentationIm原创 2017-08-19 16:49:04 · 1400 阅读 · 0 评论 -
CNN
下面粗浅地讲一讲CNN,这一深度学习网络架构的基石之一。之前查看了很多中英文的讲解CNN的博客资料,发现基本上入门的话都是借助了大量的图形去说明,由于这篇博客不是针对初学者的,主要是给自己一个回顾的作用,因此该博客主要是基于本人自身的理解认知来进行的整体归纳。卷积神经网络相对于全连接网络最大的特点是具有local receptive fields, shared weights, pooling.原创 2017-08-18 18:28:53 · 636 阅读 · 0 评论 -
[论文阅读] EIE: Efficient Inference Engine on Compressed Neural Network
这是收录于ISCA16(International Symposium on Computer Architecture).参考资料Paper from Arxiv. EIE: Efficient Inference Engine on Compressed Deep Neural NetworkPPT from ASCA16. EIE: Efficient Inference Eng原创 2017-09-17 17:46:49 · 1373 阅读 · 0 评论 -
Anaconda环境基本配置
python在机器学习领域的重要性日渐提升,但是其包管理以及python不同版本之间存在的不兼容性问题着实让人头疼。使用虚拟环境来进行包管理以及python不同版本之间的管理重要性则不言而喻了,本人试过了docker也试过了anaconda,相比较而言anaconda更为好用(个人观点,不喜勿喷)。接下来,将对anaconda环境下需要的各种包做一个基本的小结。安装anaconda首先下载Anaco原创 2017-10-28 17:12:06 · 1848 阅读 · 0 评论 -
[论文解读] ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices
ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices原创 2017-10-15 13:26:16 · 606 阅读 · 0 评论 -
SSD及其不同主网络实现的性能差异比较
SSD-Caffe(Official) – VGG16 System VOC2007 test mAP FPS (Titan X) Number of Boxes Input resolution Faster R-CNN (VGG16) 73.2 7 ~6000 ~1000 x 600 YOLO (customized) 63.4 45 98原创 2017-10-15 19:01:58 · 3595 阅读 · 2 评论 -
Global Average Pooling对全连接层的可替代性分析
在NIN(Network in Network) 这篇论文中有很多的思想让人受益匪浅,其中之一就是全局平均池化(Global Average Pooling) 对于全连接层的替代性分析。刚开始由于觉得之后的研究不需要NIN,因此就没去看论文,看了一下其他人的博客,发现关于其原因讲得并不清楚,只说是那么用的。后来实在是受不了了,看了看论文,而且找到了一个较好的讲解,现在算是完全弄懂了。首先我们来看一下原创 2017-08-24 15:54:22 · 25402 阅读 · 0 评论 -
VGG16中3个3*3卷积核对AlexNet中7*7卷积核的替代性分析
使用更小的卷积核是当前在保证网络精度的情况下,减少参数的趋势之一,在VGG16中,使用了3个3*3卷积核来代替7*7卷积核,使用了2个3*3卷积核来代替7*7卷积核,这样做的主要目的是在保证具有相同感知野的条件下,提升了网络的深度,在一定程度上提升了神经网络的效果。以下简单地说明一下小卷积(3*3)对于5×5网络感知野相同的替代性。如图所示:关于3个3×3卷积核对于7× 7 卷积的替代性思考方式同上原创 2017-08-24 16:14:18 · 12897 阅读 · 4 评论 -
SSD
参考资料: http://www.cs.unc.edu/~wliu/papers/ssd_eccv2016_slide.pdf原创 2017-08-25 00:24:22 · 242 阅读 · 0 评论 -
反卷积网络概念及其于目标检测中的应用
反卷积网络概念及其于目标检测中的应用原创 2017-08-25 00:27:26 · 497 阅读 · 0 评论 -
神经网络中非线性激活函数相关解析
引入非线性激活函数的作用引入非线性激活函数的主要目的是增加神经网络的非线性性。因为如果没有非线性激活函数的话,每一层输出都是上层输入的线性函数,因此,无论神经网络有多少层,得到的输出都是线性函数,这就是原始的感知机模型,这种线性性不利于发挥神经网络的优势。非线性激活函数的类别非线性函数在历史的长河中有多种,主要讲以下两类:有界激活函数有界激活函数用得相对较多的是sigmoid函数和tanh(双曲正切原创 2017-08-25 01:12:59 · 5328 阅读 · 0 评论 -
浅谈神经网络反向传播的梯度丢失问题
在神经网络的训练过程中,由于神经网络初始参数的随机初始化一般是正态分布函数的初始化,因此往往初始化权值小于1,导致了如果随着网络深度的提升,如果使用sigmoid函数,则累积的结果是梯度值的指数级减小,从而导致梯度趋近于0,使其难以有效地被训练。后续会对当前针对网络层数加深,解决梯度丢失问题的多种方法进行归纳。参考资料: 深度神经网络中的梯度丢失和梯度爆炸原创 2017-08-24 16:03:15 · 571 阅读 · 0 评论 -
浅谈Dropout
在全连接网络部分,Dropout这一超参得到了较为广泛的应用,同时取得了不错的效果。下面就来简单地谈谈Dropout。什么是Dropout我们知道,典型的神经网络其训练流程是将输入通过网络进行正向传导,然后将误差进行反向传播。Dropout就是针对这一过程之中,随机地删除隐藏层的部分单元,进行上述过程。综合而言,上述过程可以分步骤为:随机删除网络中的一些隐藏神经元,保持输入输出神经元不变;将输入原创 2017-08-25 00:24:53 · 13643 阅读 · 2 评论 -
ReLU函数进行Batch Normalization意义分析
我们都知道,正则化是一种防止训练参数过拟合的一种极为有效的方式。激活函数的主要作用是提升圣经网络的非线性性。之前常用的激活函数,如Sigmoid, tanh函数,由于其饱和区的接近于0,因此需要将其进行正则化,转换为正态分布,将数据大部分规范到线性范围之内,然后通过两个额外的线性转换参数来进行微调,从而避免后续梯度消失问题的产生。那么就有一个问题了,ReLU这一函数并没有上界,也就是其导数不存在趋近原创 2017-08-25 00:27:00 · 8189 阅读 · 5 评论 -
1*1卷积核作用分析
1*1卷积核,这种小巧的卷积核从GoogLeNet,ResNet之后得到了广泛的使用,其在理论上和时间上都被证明了针对特定的问题可以一定程度地提升神经网络的效率。关于1*1卷积核的作用,总体而言主要有如下两个方面的内容:进行升维与降维并减少网络参数。关于其降维并减少网络参数的特点在GooLeNet中表现得一览无遗,详情可以参见GooLeNet,关于其升维并减少网络参数的功能在ResNet中使用得非原创 2017-08-24 16:01:59 · 2217 阅读 · 0 评论 -
Batch Normalization
原文出处: http://blog.csdn.net/malefactor/article/details/51476961Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。目前几乎已经成为DL的标配了,任何有志于学习DL的同学们朋友们雷迪斯俺的詹特曼们都应该好好学一学BN。BN倒过来看就是NB,因为这个技术确实很NB,虽然有转载 2017-08-26 14:51:12 · 230 阅读 · 0 评论 -
L0、L1与L2范数
L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09 今天我们聊聊机器学习中出现的非常频繁的问题:过拟合与规则化。我们先简单的来理解下常用的L0、L1、L2和核范数规则化。最后聊下规则化项参数的选择问题。这里因为篇幅比较庞大,为了不吓到大家,我将这个五个部分分成两篇博文。知识有限,以下都是我一些浅显的看法,如果理解存转载 2017-08-26 16:02:21 · 516 阅读 · 0 评论 -
基于Tensorflow的机器学习(3) -- KMeans and NN(Nearest Neighbors)
Remains原创 2017-10-22 18:03:24 · 438 阅读 · 0 评论