关注
分享
文章平均质量分 96
斯坦福大学CS231n是深度学习卷积神经网络的经典教程，不但基础知识讲解详细，更包含一些最新的文章，本专栏是其读书笔记，如有错误欢迎指出。
bea_tree
只要不断按着梯度来，最差也可以进入局部最优解
展开
-
CS231n 卷积神经网络与计算机视觉 11 卷积神经网络的 迁移学习 和微调
1 迁移学习实际中很少有人从头开始训练一个卷积神经网络，一般来说没有足够的可用的数据. 反而一般使用大数据集已经训练过的ConvNet来作为初始模型或者直接作为固定特征的提取器，以下是三种迁移学习的情景： 1. ConvNet as fixed feature extractor. 拿来训练好的网络将最后一层全连接层（分类用）去掉 然后将剩下的部分看做一个特征提取器，在AlexNet the原创 2016-05-30 00:30:12 · 5200 阅读 · 0 评论 -
CS231n 卷积神经网络与计算机视觉 10 卷积神经网络学了些什么？
本章是Stanford cs231n正在草拟的一章，主要将ConvNets可视化，进一步理解卷积神经网络。1 可视化激活值和第一层权重激活值 最直接的可视化就是展示网络在向前传播时的激活值，ReLU 为激活函数的网络中开始时激活值一般是点状物比较多比较分散，但是当训练后就会比较稀疏集中于局部了. 但是要注意如果有些激活值对很多不同的输入得到的是都全黑, 就可能意味着这是filte原创 2016-05-30 00:28:54 · 3446 阅读 · 0 评论 -
CS231n 卷积神经网络与计算机视觉 9 卷积神经网络结构分析
终于进入我们的主题了ConvNets或者CNNs，它的结构和普通神经网络都一样，之前我们学习的各种技巧方法都适用，其主要不同之处在于： ConvNet假定输入的是图片，我们根据图片的特性对网络进行设定以达到提高效率，减少计算参数量的目的。1. 结构总览首先我们分析下传统神经网络对于图片的处理，如果还是用CIFAR-10上的图片，共3072个特征，如果普通网络结构输入那么第一层的每一个原创 2016-05-30 00:27:31 · 11365 阅读 · 4 评论 -
CS231n 卷积神经网络与计算机视觉 8 手把手实现神经网络分类
本章将实现一个简单的两层神经网络，主要分两步走： 1. 实现线性分类器 2. 改变成神经网络1 生成数据我们先生成一个螺旋性的数据集，Python代码：N = 100 # number of points per classD = 2 # dimensionalityK = 3 # number of classesX = np.zeros((N*K,D)) # data matrix (原创 2016-05-29 03:03:54 · 5802 阅读 · 8 评论 -
CS231n 卷积神经网络与计算机视觉 7 神经网络训练技巧汇总 梯度检验 参数更新 超参数优化 模型融合 等
前面几章已经介绍了神经网络的结构、数据初始化、激活函数、损失函数等问题，现在我们该讨论如何让神经网络模型进行学习了。1 梯度检验权重的更新梯度是否正确决定着函数是否想着正确的方向迭代，在UFLDL中我们提到过，计算时梯度公式如果计算错误是不容被察觉的，我们需要比较分析法得到梯度与数值法得到的梯度是否相似，下面是一些技巧：1.1 centered formula高等数学中我们知道导数的近似公式： d原创 2016-05-28 23:06:02 · 11893 阅读 · 6 评论 -
CS231n 卷积神经网络与计算机视觉 6 数据预处理 权重初始化 规则化 损失函数 等常用方法总结
1 数据处理首先注明我们要处理的数据是矩阵X，其shape为[N x D] (N =number of data, D =dimensionality).1.1 Mean subtraction 去均值去均值是一种常用的数据处理方式.它是将各个特征值减去其均值，几何上的展现是可以将数据的中心移到坐标原点，Python中的代码是 X -= np.mean(X, axis = 0). 对于原创 2016-05-28 04:50:28 · 26574 阅读 · 6 评论 -
cs231n 卷积神经网络与计算机视觉 5 神经网络基本结构 激活函数总结
简介神经网络中的神经元的灵感来源于人脑，人体中大约有860亿个神经元，大约有 10^14 - 10^15 突触（synapses）. 每个神经元由树突dendrites接收信号 轴突axon发射信号. 轴突又连接到其他神经单元 的树突.突触强度synaptic strengths (权重w) 可以经过学习控制输入信号的输出是抑制还是激活( excitory (positive weight)原创 2016-05-28 04:48:51 · 12471 阅读 · 0 评论 -
cs231n 卷积神经网络与计算机视觉 4 Backpropagation 详解反向传播
反向传播backpropagation是递归（recursive）调用求导链式法则（chain rule）来求导的过程，对他的理解对于神经网络的应用很重要。反向传播 backpropagation反向传播在UFLDL中的介绍已经较为具体 （http://blog.csdn.net/bea_tree/article/details/51174776），这里仅作补充。 原文简要介绍了求导与链式求导的原创 2016-05-25 22:51:20 · 3434 阅读 · 0 评论 -
CS231n 卷积神经网络与计算机视觉 3 最优化与随机梯度下降
上节中我们已经接触到了图像识别中的两部分score function和 loss function，这节将会引入对loss function的优化求解，也就是optimization。为了求解loss function我们首先将loss function 可视化Visualizing the loss function一般来说在图像处理的时候我们结果的数据都是多维的，前面CIFAR-10 的图片有3原创 2016-05-25 17:21:25 · 4055 阅读 · 2 评论 -
cs231n 卷积神经网络与计算机视觉 2 SVM softmax
linear classification上节中简单介绍了图像分类的概念，并且学习了费时费内存但是精度不高的knn法，本节我们将会进一步学习一种更好的方法，以后的章节中会慢慢引入神经网络和convolutional neural network。这种新的算法有两部分组成： 1. 评价函数score function，用于将原始数据映射到分类结果 2. 损失函数loss function， 用于定原创 2016-05-25 01:56:35 · 7047 阅读 · 4 评论 -
cs231n 卷积神经网络与计算机视觉 1 基础梳理与KNN图像分类
本导论主要介绍了图像分类问题及数据驱动方法。图像分类问题 image classification图像的分类问题简单来说就是对选择一个给定label的过程。如下图： 此图片为248×400像素的图片，对电脑来说他是一个248 x 400 x 3的3维数组，其中的3代表红绿蓝三色通道（这里文中默认是使用RGB格式），假设我们设定，这幅图片的label有四种可能，cat、dog、hat、mug，对原创 2016-05-23 23:07:31 · 4050 阅读 · 2 评论