Deep learning
Mr丶Caleb
中国科学技术大学在读研究生
展开
-
CS231n课程:反向传播学习记录
结合视频和笔记:https://zhuanlan.zhihu.com/p/21407711?refer=intelligentunit函数关于每个变量的导数指明了整个表达式对于该变量的敏感程度。反向传播的直观理解 反向传播是一个优美的局部过程。在整个计算线路图中,每个门单元都会得到一些输入并立即计算两个东西:1. 这个门的输出值,和2.其输出值关于输入值的局部梯度。门单元完成这两件事是完全独立的,转载 2016-09-01 20:03:36 · 945 阅读 · 1 评论 -
1*1的卷积核与Inception
本文介绍1*1的卷积核与googlenet里面的Inception。正式介绍之前,首先回顾卷积网络的基本概念。 1. 卷积核:可以看作对某个局部的加权求和;它是对应局部感知,它的原理是在观察某个物体时我们既不能观察每个像素也不能一次观察整体,而是先从局部开始认识,这就对应了卷积。卷积核的大小一般有1x1,3x3和5x5的尺寸。卷积核的个数就对应输出的通道数,这里需要说明的是对于输入的每个通道,转载 2016-12-22 23:20:29 · 1077 阅读 · 0 评论 -
RNN以及LSTM的介绍和公式梳理
转自: http://blog.csdn.net/Dark_Scope/article/details/47056361RNN(Recurrent Neural Network) 今天我这里讲到的RNN主要是上图这种结构的,即是Hidden Layer会有连向下一时间Hidden Layer的边,还有一种结构是Bidirectional Networks,也就是说会有来自下一时间的Hidden原创 2016-10-16 11:03:27 · 681 阅读 · 0 评论 -
CS231n第八课:目标检测定位学习记录
结合视频第八集本节课程从分类(Classification),定位(Localization)和检测(Detection)三个方面入手。 从上图可以直观的看到: 1.对于分类而言,就是对于给定的图片把其划分到给定的几种类别中某一种。很显然,图像中只能存在一种给定类别中的对象。 2.而定位就是找到对应的对象的位置区域,把它框选出来(即Bounding Box),这个选框除了位置信息(x,y)外还原创 2016-09-05 16:15:26 · 7550 阅读 · 0 评论 -
CS231n第五课:神经网络2学习记录
结合视频5和笔记:https://zhuanlan.zhihu.com/p/21560667?refer=intelligentunit数据预处理数据预处理的手段一般有: · 去均值(mean subtraction) · 规范化/归一化(normalization) · 主成分分析(PCA)和白化(whitening) PCA和白化(Whitening)是另一种预处理形式。在这种处转载 2016-09-05 00:30:22 · 2382 阅读 · 0 评论 -
CS231n第三课:最优化学习记录
结合视频和笔记:(笔记来源)https://zhuanlan.zhihu.com/p/21360434?refer=intelligentunit笔记一开始介绍了如何将计算损失转换为凸函数的问题,讲得很形象,加深了理解: 最优化是寻找能使得损失函数值最小化的参数W的过程。 最优化 Optimization策略: 1.随机搜索中用到一个numpy的randn函数,函数原型如下:num转载 2016-09-01 16:25:03 · 471 阅读 · 0 评论 -
CS231n第二课:线性分类器学习记录
结合视频第二集和笔记:https://zhuanlan.zhihu.com/p/20918580?refer=intelligentunit线性分类器(Linear classifier)加深理解线性分类器计算图像中3个颜色通道中所有像素的值与权重的矩阵乘,从而得到分类分值。根据我们对权重设置的值,对于图像中的某些位置的某些颜色,函数表现出喜好或者厌恶(根据每个权重的符号而定)。 这里假设了猫转载 2016-09-04 21:55:04 · 488 阅读 · 0 评论 -
CS231n第二课:图像分类学习记录
结合视频第二集和笔记:https://zhuanlan.zhihu.com/p/20894041?refer=intelligentunitNearest Neighbor分类器图像分类数据集:CIFAR-10。一个非常流行的图像分类数据集是CIFAR-10。这个数据集包含了60000张32X32的小图像。每张图像都有10种分类标签中的一种。这60000张图像被分为包含50000张图像的训练集和包含转载 2016-09-04 20:53:33 · 761 阅读 · 0 评论 -
CS231n第七课:卷积神经网络学习记录
结构:神经元的三维排列。卷积神经网络针对输入全部是图像的情况,将结构调整得更加合理,获得了不小的优势。与常规神经网络不同,卷积神经网络的各层中的神经元是3维排列的:宽度、高度和深度(这里的深度指的是激活数据体的第三个维度,而不是整个网络的深度,整个网络的深度指的是网络的层数)。举个例子,CIFAR-10中的图像是作为卷积神经网络的输入,该数据体的维度是32x32x3(宽度,高度和深度)。我们将看到,转载 2016-09-04 19:29:30 · 2607 阅读 · 0 评论 -
CS231n第四课:神经网络1学习记录
结合视频第四集和笔记:https://zhuanlan.zhihu.com/p/21462488?refer=intelligentunit 简介 生物动机与连接 输入x与权重w做内积 —-> 内积结果输入激活函数 —> 从激活函数输出信号一个神经元前向传播的实例代码:class Neuron(object): # ... def forward(inputs): "转载 2016-09-02 17:14:58 · 727 阅读 · 0 评论 -
Conjugate Gradient
Conjugate GradientBefore diving in to Haskell, let’s go over exactly what the conjugate gradient method is and why it works. The “normal” conjugate gradient method is a method for solving systems of转载 2017-10-23 19:28:52 · 724 阅读 · 0 评论