深度学习
wayen820
这个作者很懒,什么都没留下…
展开
-
最小二乘法与投影
作者:阿狸链接:https://www.zhihu.com/question/37031188/answer/111336809来源:知乎著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。最小二乘法(Least Squares Method,简记为LSE)是一个比较古老的方法,源于天文学和测地学上的应用需要。在早期数理统计方法的发展中,这两门科学起了很大的转载 2018-01-25 11:31:14 · 3145 阅读 · 0 评论 -
论文解析-《Understanding the difficulty of training deep feedforward neural networks》
这篇论文详细解析了深度网络中参数xavier初始化方法,这里做一下读书笔记,同时记录一下自己的理解。1 引言经典前馈神经网络其实很早就有了(Remelhart et al.,1986),近年来对深度监督神经网络的一些成果只不过在初始化和训练方法跟以前有点区别,可是为什么能够取得这么好的结果?部分原因可能是使用非监督训练方法来初始化网络,使得网络整体处于一个比较好的优化状态。但是更早的一些研究(Be...原创 2018-05-29 17:26:28 · 1529 阅读 · 0 评论 -
防止过拟合的处理方法
原文地址:一只鸟的天空,http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合 我们都知道,在进行数据挖掘或者机器学习模型建立的时候,因为在统计学习中,假设数据满足独立同分布(i.i.d,independently and identically distributed),即当前已产生的数据可以对未来的数据...原创 2018-06-12 17:54:24 · 263 阅读 · 0 评论 -
论文解析《Deep Convolutional Neural Network Features and the Original Image》
这一篇论文详细分析了人脸识别中CNN网络提取到的features有一些什么样的性质,一般人脸识别中CNN出来后面接一个线性层用交叉熵来分类,这里的features值得就是cnn出来的512或者128维的浮点数组。文章首先用这个features作为输入,使用LDA来分类,预测头部姿态Yaw,Pitch,和图像媒介,得到下面的结果,可以看到,embeding features还是包含反映面部姿态和原始...原创 2018-06-11 16:58:16 · 1103 阅读 · 0 评论 -
tensorflow中name_scope和variable_scope使用方法示例
刚开始用tensorflow定义一个简单的模型,脚本如下:import tensorflow as tfimport numpy as np# 添加层def add_layer(inputs, in_size, out_size, activation_function=None): # add one more layer and return the output of this...原创 2018-05-15 16:03:46 · 1613 阅读 · 0 评论 -
tensorflow移植到android及开发环境搭建
项目需要将tensorflow的pb模型移植到android,tensorflow官方给的移植例子是在java层面上的,有一个so和相应的jar包,不是很符合需要,因为实际项目里除了调用模型得到结果,中间还有很多的处理工作,并且在java层开发。我做的是一个手机人脸识别,从输入图像,mtcnn人脸检测和特征点检测,对齐,识别,对比,整个下来一个流程。另外,如果提供给客户sdk包含tensorflo...原创 2018-04-29 10:50:07 · 4175 阅读 · 1 评论 -
softmax及交叉熵损失的反向传递推导及实现
一般网络最后一个线性层后面都会跟一个输出层,比如sigmoid,softmax等,其基本做法是将输出Zi取指数再归一化。下面记录一下softmax和交叉熵的反向传递推导。参考博文:https://blog.csdn.net/u014313009/article/details/51045303下面做一个摘录:1. softmax函数及其求导 softmax的函数公式如下: ...原创 2018-04-03 17:00:01 · 4198 阅读 · 0 评论 -
使用python实验pca
pca的基础知识请参考《A TUTORIAL ON PRINCIPAL COMPONENT ANALYSIS》,这里记录一下使用python实现pca实验过程新建一个x向量,参数10为正态分布的标准差,0为均值,100为向量长度x=np.random.normal(0,10,100)新建一个噪声noisenoise=np.random.normal(0,4,100)新建一个yy=5*x+3.3+n...原创 2018-03-28 10:11:44 · 411 阅读 · 1 评论 -
系统学习深度学习--Batch Normalization
Batch Normalization,简称BN,来源于《Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift》,也是GoogLeNet v21-Motivation 作者认为:网络训练过程中参数不断改变导致后续每一层输入的分布也发生变化,而学习的过程又要使每一层转载 2018-04-10 17:30:20 · 245 阅读 · 0 评论 -
反向传播和计算图
从计算图(computational graph)角度看BP(back propagation)算法,这也是目前各大深度学习框架中用到的,Tensorflow, Theano, CNTK等。参考【1】原文:https://blog.csdn.net/u013527419/article/details/70184690一、通用形式1. 什么是计算图结构 从下图中我们可以清楚地看到 (1)可以将计算...转载 2018-04-03 10:45:01 · 905 阅读 · 0 评论 -
BN层原理解析
前几天看了BN的那篇经典论文《《Batch Normalization_ Accelerating Deep Network Training by Reducing Internal Covariate Shift》,心中留有很多疑惑,今天大概弄明白了,这里记录一下。1 训练数据为什么要和测试数据同分布?看看下图,如果我们的网络在左上角的数据训练的,已经找到了两者的分隔面w,如果测试数据是右下角...原创 2018-04-10 15:40:05 · 35804 阅读 · 10 评论 -
ubuntu下源码安装tensorflow
本文参考了这篇博客https://blog.csdn.net/u013832707/article/details/73161071获取源码在安装目录下运行:git clone --recurse-submodules https://github.com/tensorflow/tensorflow其中–recurse-submodules 参数是必须的, 用于获取 TesorFlow 依赖的 p...转载 2018-04-02 17:02:00 · 283 阅读 · 0 评论 -
keras中fine-tuning的例子
在做活体检测的时候看到这份模型:https://github.com/OeslleLucena/FASNet泛化性能不怎么,但是里面提到了一个fine-tuning的帖子,在这里记录一下https://blog.keras.io/building-powerful-image-classification-models-using-very-little-data.html...原创 2018-03-09 10:32:38 · 1162 阅读 · 0 评论 -
ubuntu安装caffe
Caffe已经是第三次安装配置了,为什么是第三次呢?因为我实在是低估了深度学习对于硬件的要求。第一次我在自己笔记本上配置的单核,CPU only ... 结果是,样例数据跑了4小时,这还怎么玩?第二次在台式机上,因为台式机比较low,I5处理器4核,没有NVIDIA的GPU。我把别人训练好的模型下载下来,然后自己测试,发现真的成功了,心里小激动~ 然而,当我自己训练模型时,我训练7天.....转载 2018-02-07 17:17:09 · 1958 阅读 · 0 评论 -
卷积神经网络研究分类
目前卷积神经网络的研究主要在两个方面:1 network structures 神经网络结构的这方面的论文有A. Coates, A. Y. Ng, and H. Lee. An analysis of single-layer networks in unsupervised feature learning. Journal ofMachine Learning Research, 2011....原创 2018-02-27 10:15:55 · 787 阅读 · 0 评论 -
神经网络反向传播和学习过程
推导可参考https://www.zhihu.com/question/24827633这里参考大神论文,进行总结记录一下。前向传播可以总结为:后向传播总结可以看下图描述:可以看到,每一层的误差都需要乘以激活函数的导数值,这样网络越深,层误差就越小,E对W的梯度也就越小,浅层的权值参数越难更新。...原创 2018-02-26 22:45:09 · 309 阅读 · 0 评论 -
mobilenetv2深度解析
今天下午仔细review了mobilenetv2的论文,有了新的感觉,在这里留个记录,也跟大家分享一下。论文原文《MobileNetV2: Inverted Residuals and Linear Bottlenecks》论文里面提出了下面几个结构,深度卷积就不说了,正常卷积可以分解为depthwise和pointwise两个卷积,减小运算量和参数数量。如下面,a是正常的卷积形式,b是深度卷...原创 2018-08-31 17:31:47 · 5682 阅读 · 1 评论