2017年04月_MargaretWG

原创 CS231n——Assignment1--2-layer-network

仅用Python实现一个两层的全连接网络我认为此任务的难点在于反向传播那块的代码，以前对反向传播认识比较浅显，亲手推算后，才真正理解了反向传播，我已把反向传播这块做了补充，详情见http://blog.csdn.net/margretwg/article/details/64920405（softmax梯度推导）http://blog.csdn.net/margretwg/articl

2017-04-18 21:20:59 1414

原创深度学习小白——tensorflow(四)CIFAR-10实例

最近看了https://github.com/tensorflow/models/tree/master/tutorials/image/cifar10这个实例，里面有大量的tf库函数，看了好久才大概看个明白，想在此做个学习笔记，把一些函数用途以及整个CNN网络框架记录下来。一、数据读取因为之前写过，见http://blog.csdn.net/margretwg/article

2017-04-16 20:04:45 8866 3

原创深度学习小白——Tensorflow(三) 读取数据

一个典型的文件读取管线会包含下面这些步骤：文件名列表可配置的文件名乱序(shuffling)可配置的最大训练迭代数(epoch limit)文件名队列针对输入文件格式的阅读器纪录解析器可配置的预处理器样本队列

2017-04-16 15:43:16 7003 1

原创深度学习小白——Tensorflow(二)卷积

本文记录用两层卷积网络实现训练MNIST数据集先介绍一下所用核心函数1.tf.nn.conv2d(input,filter,strides,padding,use_cudnn_on_gpu=None,data_format=None,name=None)input：待卷积的数据，格式要求为一个张量tensor，【batch,in_height,in_width,in_channels】

2017-04-13 20:40:21 7786

原创深度学习小白——TensorFlow(一)简介

我选择tensorFlow作为我学习的第一个神经网络框架，恰巧最近Tensorflow支持了windows,所以让我的学习变得更加便捷。我的主要参考文章有http://blog.csdn.net/u014595019/article/details/52677412https://mp.weixin.qq.com/s/6H2FkNQSZ-qp3u5_FN5UoAhttp:/

2017-04-13 19:42:05 6360 2

原创 CS231n——Assignment1 SVM

1.读入数据同softmax2.预处理图像减去均值图像，加上偏差3.SVM 分类器的实现np.max(a,axis=None,out=None,keepdims=False)求序列的最值最少接受一个参数axis默认为列向，即axis=0np.maximum(X,Y,out=None)X与Y逐位比较取其大者最少接受两个参数，XY必须可broadcast

2017-04-11 00:07:10 1633

原创深度学习小白——卷积神经网络可视化（三）

此篇主要总结一下《Understanding Neural Networks Through Deep Visualization》这篇论文如果我们想要观察神经网络中任意一个神经元到底对何种图片响应最大（激活值最大），通常做法是：一、不用正则项首先随机为每一个像素赋值，得到一个随机图片，前向传播算出对于网络中某个神经元i的激活值ai(x),然后，反向传播计算该激活值对于

2017-04-10 19:25:28 4813

原创深度学习小白——卷积神经网络可视化（二）

一、由卷积后的code得到原始图像可以看出随着卷积网络的进行，越来越多的信息被扔掉了，能还原除的信息也就越少。二、Deep Dreamgoogle发明的起初是用来看神经网络各层在“看”什么，后来因为得到的图像很具有艺术感，所以成为了一个艺术图片生成器。这是一段Deep dream的核心代码，其中make_step就是对输入图像进行不断的优化（前面提到过的过程），

2017-04-09 12:12:14 2422

原创深度学习小白——卷积神经网络可视化（一）

一、可视化最大激活神经元的一些pathces例如在这个AlexNet的pool5层任选一个神经元，然后喂给它大量的图片，看哪种图片最能激活该神经元比如上面两行代表使神经元激活值最大的一些图片，白框是感受野，数值即为激活值，第一个神经元似乎对人很敏感，下面那个对dots或狗狗比较敏感2. 对weights的观察我们还可以对卷积第一层的raw filters 进

2017-04-07 18:00:58 8981 4

原创 CS231n——Assignmen1之Softmax

Softmax 分类器的实现1.类的实现import numpy as npfrom random import shuffledef softmax_loss_naive(W, X, y, reg):#带循环 """ Softmax loss function, naive implementation (with loops) Inputs

2017-04-05 13:57:58 1041

原创 CS231n——Assignment1-KNN

一、KNN1.读取数据import numpy as npimport randomfrom cs231n.data_utils import load_CIFAR10import matplotlib.pyplot as pltimport osplt.rcParams['figure.figsize']=(10.0,8.0)plt.rcParams['ima

2017-04-04 11:51:59 1502

转载深度学习小白——卷积神经网络

一、结构概述卷积神经网络机构基于一个假设——输入数据是图像。所以这种特有属性，使得前向传播函数实现起来更高效，并且大幅度降低了网络中参数的数量。在神经网络中：输入是一个向量，然后每个隐层由若干的神经元组成，每个神经元都与前一层中的所有神经元连接。常规的神经网络对于大尺寸图像效果不尽人意，因为在全连接下，权重和偏差参数会变得很多，导致网络过拟合等问题。与常规神经网络不同，卷积神经网络的

2017-04-03 10:13:05 7104

MargretWG的博客