- 博客(27)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 《Softmax regression based deep sparse autoencoder network ...》阅读笔记
论文：《Softmax regression based deep sparse autoencoder network for facial emotion recognition in human-robot interaction》这篇论文发表在Information Sciences 428 (2018) 49–61,主要作者是Luefeng Chen, Mengtian Zhou, ...
2018-05-25 15:06:35
607
原创 matlab遇到的问题
1、两张图片相加减变成同一种类型，double(x)，unit8(x).2、输出图片imshow(x);imshow(x,[high,low]); %在high和low之间的像素按比例显示，低于这个区间的变0，高于这个区间的变255；imshow(unit8(x));3、jpg图片要处理前要变灰度图片f=rgb2gray(f);4、for与if...
2018-04-18 16:59:02
442
原创 思考的各种小问题？
1、卷积神经网络的工作过程放进网络中的可以是一个个batch的放（一个batch假设有250张照片），输入的数据是一个4维的数据，最后输出的是多个图片的loss。做反向传播训练参数的时候可以全部loss一起算，比如把全部loss加和得到一个LOSS。 假设损失函数是||y−f(x)||2||y−f(x)||2||y-f(x)||^2,损失函数对x求导，得到的dw=2(y−f(x))(αf(x...
2018-03-30 14:12:43
273
原创 tensorflow—— bug记录
1、initialize_all_variables已被弃用。说明更新：使用tf.global_variables_initializer代替，写了 init = tf.global_variables_initializer()后不会执行，要在session里加上sess.run(init)后才会执行。2、Only call sparse_softmax_cross_entropy_wi...
2018-03-29 10:41:06
195
原创 《Can increasing depth serve to accelerate optimization?》阅读笔记
主要内容：网络越深，优化越难（此即梯度消失或梯度爆炸问题），但是有时候增加深度反而会加速网络优化。同时提出端到端更新规则，证明深度网络过度的参数化（overparameterization）也可能是件好事。lplpl_p回归以标量线性回归做实验，发现对一个网络进行过参数化操作，并没有改变网络的表现力，但却生成了非凸目标函数。而过度参数化不仅仅加速了梯度下降，而且其加速效果还优于两个...
2018-03-27 21:42:19
208
原创 tensorboard不能正常可视化
tensorboard问题tensorboard不能好好显示出可视化界面真是令人头疼，一开始在Windows下运行了这段代码：import tensorflow as tfimport numpy as np#import matplotlib.pyplot as pltdef add_layer(inputs,in_size,out_size,activation_funtion ...
2018-03-16 20:51:22
1293
原创 服务器下装tensorflow和caffe
Anaconda1、bash xxx.sh-p PATH -u2、激活Anaconda的环境变量export PATH=”/data/lzy/Anaconda3/bin:$PATH”3、更换清华源conda config –add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main/ ...
2018-03-15 20:31:54
348
原创 Part 2 (三)超参数调试、batch正则化、程序框架
这部分会有讲到tensorflow，网上看到些教程，先收着： https://www.jianshu.com/p/e112012a4b2d改善深层神经网络：超参数调试、正则化以及优化 —超参数调试 和 Batch Norm1. 超参数调试处理在机器学习领域，超参数比较少的情况下，我们之前利用设置网格点的方式来调试超参数； 但在深度学习领域，超参数较多的情况下，不是设置规则的...
2018-03-06 21:42:40
287
原创 Part 2 （二）优化算法
改善深层神经网络：超参数调试、正则化以及优化 —优化算法1. Mini-batch 梯度下降法对整个训练集进行梯度下降法的时候，我们必须处理整个训练数据集，然后才能进行一步梯度下降，即每一步梯度下降法需要对整个训练集进行一次处理，如果训练数据集很大的时候，如有500万或5000万的训练数据，处理速度就会比较慢。但是如果每次处理训练数据的一部分即进行梯度下降法，则我们的算法速度会执行...
2018-03-02 16:23:16
322
原创 Part 2 (一)深度学习的实用层面
记一些的链接，方便查找作业笔记 https://github.com/fengdu78/Coursera-ML-AndrewNg-Notes https://github.com/Kulbear/deep-learning-coursera http://blog.csdn.net/koala_tree改善深层神经网络：超参数调试、正则化以及优化 —深度学习的实践方面1. 训...
2018-03-01 11:13:02
723
原创 Part 1 练习：建立一个训练网络，判断是否为猫图
import numpy as npimport matplotlib.pyplot as pltimport h5pyimport scipyfrom PIL import Imagefrom scipy import ndimagefrom lr_utils import load_datasetdef initialize_parameters(n_x, n_h, n_y):...
2018-02-27 19:30:14
495
原创 Part 1（四）深层神经网络
4.1 深层神经网络我们说logistic回归是一个浅层模型，当我们数一个网络有多少层的时候，我们不用数输入层，只需要数隐藏层的数量。 4.2 深层网络中的前向传播用一个for循环去遍历所有层 的计算也是可以的; n[1]=5表示第一层的神经元个数是5。 4.3 核对矩阵的维数实现深度神经网络的时候，一个比较好的检查代码错误的方法是计算矩阵的维数。 例子...
2018-01-27 21:56:06
218
原创 Part 1（三）浅层神经网络
接下来我们将学习如何实现一个神经网络3.1 神经网络概览概览我们输入x和参数w，b，计算出z，然后得到a（同时输出y hat），最后可以计算损失函数L。 可以把很多sigmoid单元堆叠成一个神经网络。 神经网络的表示方括号是表示第几层的数据，输入层是第0层，不把输入层看作标准层，因此下图是两层的 神经网络的计算上标表示第几层，下标表示该层中的第几...
2018-01-25 23:49:07
317
原创 Part 1（二）神经网络基础
引入：这课学的是神经网络编程的基础知识，构建神经网络的时候一些技巧尤为重要，比如训练每个样本，我们需要一些技巧，实际上我们并不需要像以往那样用for遍历每个样本，在接下来的内容里我们将学习到这些技巧。 还有在计算过程中，通常有一个正向传播过程，与之对应的就会有一个反向的传播步骤，我们在接下来的学习中将会了解到为什么神经网络的计算可以有想正向传播和反向传播。 用logistic回归来阐述。...
2018-01-24 15:36:06
280
原创 Part 1 （一）深度学习概论
1.1 什么是神经网络Ex.1 Single neural network用房子面积房子价格预测 我们用一条直线去模拟价格与房子大小的映射关系，这样的拟合函数可看作简单的神经网络。 我们知道Relu（修正线性单元）函数经常出现在文献里，在这里创造的函数就是Relu函数，它永远不会为负数，所以是零开始。神经元 对于这个神经元，输入的是房子的大小（x），输出的是价格（y）...
2018-01-23 20:40:07
206
原创 windows 下连服务器
这是朋友推荐的图形化界面比较好的服务器连接软件1.Secure CRT安装2. SHH Secure Shell Client安装（方便文件的读取）3.神器: MobaXterm！！！Secure CRT下载链接：https://www.ttrar.com/html/VanDyke-SecureCRT.html1、直接下一步指导安装完成2、选择I Agree。输入服务器地址（Hostname），和...
2018-01-23 17:17:39
337
原创 (深度学习)比较新的网络模型：Inception-v3 ， ResNet， Inception-v4， Dual-Path-Net ， Dense-net ， SEnet ， Wide ResNet
1. Inception-v3 （Dec，2015） 2. ResNet（Dec，2015） 3. nception-v4（Aug，2016） 4. Dual-Path-Net （Aug，2017） 5. Dense-net（Aug，2017） 6. SEnet（Sep，2017） 7.Wide Residual Networks（Jun 2017）
2018-01-20 17:21:15
22173
1
原创 （深度学习）CNN经典模型：Lenet5，Alexnet，VGG，Network-in-netwoork，Googlenet , ZFnet
关于卷积神经网络CNN，网络和文献中有非常多的资料，我在工作/研究中也用了好一段时间各种常见的model了，就想着简单整理一下，以备查阅之需。LeNet5，1994年Alexnet，2012年VGG，2014年Network-in-networkGoogleNet，2014年ZFnet, 2014年Lenet5 LeNet5 诞生于 1994 年，是最早的卷积神
2018-01-20 16:11:17
1618
原创 记录一些hash的东西
论文《通过随机哈希实现可扩展、可持续的深度学习》（Scalable and Sustainable Deep Learning via Randomized Hashing），已经作为 Oral 被 KDD 2017 接收，虽然论文的同行评议版本要到 KDD 召开时才能得知，通过网上的资料，我们可以看到去年底 Spring 在 arXiv 上传的论文预印版（地址：https://arxiv.o
2018-01-19 23:25:25
490
转载 BP算法
一、BP算法的意义 对于初学者来说，了解了一个算法的重要意义，往往会引起他对算法本身的重视。BP(Back Propagation，后向传播)算法，具有非凡的历史意义和重大的现实意义。1.1 历史意义 1969年,作为人工神经网络创始人的明斯基(Marrin M insky)和佩珀特(Seymour Papert)合作出版了《感知器》一书,论证了简单的线性感知器功能有限,不能解决如“异或”(XOR
2018-01-19 21:21:46
993
原创 梯度下降
1、首先理解一下二元的梯度下降如何直观形象的理解方向导数与梯度以及它们之间的关系？https://www.zhihu.com/question/36301367方向导数与梯度 http://netedu.xauat.edu.cn/jpkc/netedu/jpkc/gdsx/homepage/5jxsd/51/513/5308/530807.htm
2018-01-19 17:21:11
184
转载 CNN
从神经网络到卷积神经网络（CNN）我们知道神经网络的结构是这样的：那卷积神经网络跟它是什么关系呢？其实卷积神经网络依旧是层级网络，只是层的功能和形式做了变化，可以说是传统神经网络的一个改进。比如下图中就多了许多传统神经网络没有的层次。卷积神经网络的层级结构 • 数据输入层/ Input layer • 卷积计算层/ CONV laye
2018-01-17 15:17:20
2522
转载 基于深度学习的目标检测技术演进：R-CNN、Fast R-CNN、Faster R-CNN
object detection我的理解，就是在给定的图片中精确找到物体所在位置，并标注出物体的类别。object detection要解决的问题就是物体在哪里，是什么这整个流程的问题。然而，这个问题可不是那么容易解决的，物体的尺寸变化范围很大，摆放物体的角度，姿态不定，而且可以出现在图片的任何地方，更何况物体还可以是多个类别。object detection技术的演进：RCNN->S
2018-01-17 15:04:41
292
转载 RNN
这篇文章很多内容是参考：http://www.wildml.com/2015/09/recurrent-neural-networks-tutorial-part-1-introduction-to-rnns/，在这篇文章中，加入了一些新的内容与一些自己的理解。 循环神经网络(Recurrent Neural Networks，RNNs)已经在众多自然语言处理(Natural Langu
2018-01-16 21:57:31
391
转载 Softmax
1、定义假设我们有一个数组V，Vi表示V中的第i个元素，那么这个元素的softmax值就是也就是该元素的指数，与所有元素的指数和的比值。2、计算与标注样本之间的差距在神经网络的计算当中，我们经常需要计算按照神经网络的正向传播计算的分数S1，和按照正确标注计算的分数S2，之间的差距，计算Loss，才能应用反向传播。Loss定义为交叉熵。取log里面的值就是这组数据
2018-01-16 20:57:04
238
转载 Linux Windows 双系统时无法挂载硬盘的解决方法
本来现在 Linux 系统做的也挺智能的了，双系统时点击 Windows 硬盘就自动挂载了，没啥感觉，但是这次却坚持报错 如下：Error mounting /dev/sda3 at /media/dms/286A099C6A0967C0: Command-line `mount -t "ntfs" -o "uhelper=udisks2,nodev,nosuid,uid=1000,gid=1
2018-01-16 15:56:00
2642
转载 SVM
1、什么是SVM？SVM(Support Vector Machines)，一个普通的SVM是一条直线，用来完美划分linearly separable 的两类。但这又不是一条普通的直线，这是无数条可以分类的直线中最完美的，因为它恰好在两个类的中间，距离两个类的点都一样远。而所谓的Support vetor 就是这些离分界线最近的点。如果去掉这些点，直线多半会改变位置，所以说这些vector（
2018-01-16 15:55:41
1338
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人