CS231n
文章平均质量分 92
斯坦福李飞飞教授的课程笔记,主要介绍神经网络在机器视觉领域的应用。
suredied
这个作者很懒,什么都没留下…
展开
-
CS231n-2017 Assignment3 RNN、LSTM、风格迁移
一、RNN所需完成的步骤记录在RNN_Captioning.ipynb文件中。本例中所用的数据为Microsoft于2014年发布的COCO数据集。该数据集中和图像标注想拐的图片包含80000张训练图片和40000张验证图片。而这些图片的特征已通过VGG-16网络获得,存储在train2014_vgg16_fc7.h5和val2014_vgg16_fc7.h5文件中,每张图片由一个4096维的...原创 2018-11-09 23:34:31 · 2433 阅读 · 0 评论 -
CS231n-2017 Assignment2 NN、BP、SGD、BN、CNN
一、全连接神经网络在上一次作业中,已经实现了两层神经网络的架构。但该实现有个问题,即程序不够模块化,比如在loss()函数中,同时计算了损失函数和各参数的梯度。这种耦合,使得扩展网络深度时,需要做大量修改。另外,神经网络的层与层的结构也类似,这意味着朴素实现的方式中存在着代码重复。而本作业中,将要实现一种模块化的神经网路架构:将各个功能层封装为一个对象,如全连接层对象、ReLU层对象;在各层对象...原创 2018-11-07 22:13:53 · 1215 阅读 · 1 评论 -
CS231n-2017 Assignment1 k-近邻方法、SVM、Softmax、两层神经网络
一、k近邻方法1. 使用两层循环计算距离矩阵训练数据X_train和测试数据X中每一行是一个样本点。距离矩阵dists中每一行为X中的一点与X_train中各个点的距离。k_nearest_neighbor文件中的compute_distances_two_loops()函数:def compute_distances_two_loops(self, X): num_t...原创 2018-11-07 22:08:43 · 807 阅读 · 1 评论 -
CS231n-2017 第13讲 生成模型
一、监督学习与非监督学习、生成模型监督学习给定数据xxx,以及数据所对应的标签yyy,学习一个从xxx到yyy的映射。应用举例:分类、回归、目标识别、语义分割、图像标注等。非监督学习分析数据的隐藏结构特征。应用举例:聚类、降维、特征提取、数据分布估计等。生成模型给定训练数据,生成满足训练数据分布规律的新数据。这一问题和非监督学习中的数据分布估计问题...原创 2018-11-06 23:22:25 · 718 阅读 · 0 评论 -
CS231n-2017 第12讲 可视化与理解
一、卷积神经网络首层与末层输出的可视化与理解1. 首层的输出首层输出的可视化及解释已在第二课中阐述,概述而言,其反应了图像中的边、角、纹理等基础结构特征。2. 末层输出卷积神经网络的最后一层输出,为图像的最终用于分类的特征。对于这些特征的解读可从如下角度进行。按照最近邻方法,找出特征相互接近的图片,则可发现特征相近的图片的视觉感受也相近。(呃,这应该归在"显然可见"系列。)使用...原创 2018-11-06 23:15:09 · 716 阅读 · 0 评论 -
CS231n-2017 第11讲 目标检测与图像分割
一、语义分割将一张图片中的像素按类别区分。示例如下:图 1. 语义分割示例语义分割不区分同类事物的不同实例。语义分割的思路:使用滑动窗方法,每次取图像的一部分,使用神经网络判断此部分的中心像素属于哪一类。缺点:低效,未能复用重叠窗口之间的共有特征。使用全卷积(Fully Convolutional)网络:使用补零方法保证卷积的输出结果的尺寸与源图像尺寸一致,不使用...原创 2018-11-06 23:07:37 · 2321 阅读 · 0 评论 -
CS231n-2017 第10讲 循环神经网络
一、循环神经网络与应用场景考察一个输入序列x1,x2,⋯ ,xnx_1, x_2, \cdots, x_nx1,x2,⋯,xn,循环神经网络每次会结合上一次的网络状态ht−1h_{t-1}ht−1和本次输入xtx_txt,更新网络状态为hth_tht,并根据需要输出结果yty_tyt。循环神经网络的前向传播的数学表达如下:ht=fW(ht−1,xt)...原创 2018-11-06 22:31:56 · 542 阅读 · 0 评论 -
CS231n-2017 第9讲 卷积神经网络的各种架构
1. LeNet-5: LeCun et al., 1998, 5层网络结构为(Conv为卷积层,Pool为池化层,FC为全连接层):Conv — Pool — Conv — Pool — FC — FC — FC卷积核尺寸为5x5,跨立间隔为1;池化层尺寸为2x2,跨立间隔为2。图 1. LeNet结构2. AlexNet: Krizhevsky et al., 2012, ...原创 2018-11-06 22:23:03 · 569 阅读 · 0 评论 -
CS231n-2017 第8讲 使用PyTorch
一. PyTorch文档连接Tutorial: https://pytorch.org/tutorials/beginner/former_torchies_tutorial.htmlLayers: https://pytorch.org/docs/nn.htmlActivations: https://pytorch.org/docs/nn.html#non-linear-activat...原创 2018-11-06 22:10:47 · 770 阅读 · 0 评论 -
CS231n-2017 第7讲 训练网络(下)
一. 优化算法1. 随机梯度下降法(SGD)表达式:xt+1=xt−α∇f(xt)x_{t+1} = x_t - \alpha\nabla f(x_t)xt+1=xt−α∇f(xt)缺点:如果损失函数对某一维的参数敏感,而对另一维的参数不敏感,那么容易出现z-形优化路径。图 1. z-形优化路径会陷在局部最小值或鞍点附近。对于高维参数空间,出现鞍点的情形要...原创 2018-09-22 13:44:43 · 220 阅读 · 0 评论 -
CS231n-2017 第6讲 训练网络(上)
训练网络模型所需要做的功课有:训练过程能够正常启动前置条件:设定激活函数、数据预处理、权重系数初始化、网络正则化策略、梯度校验等。训练过程动态监测:学习曲线监测、参数更新、超参数的优化选择。模型评估与改进:模型集成。本节与下一节将描述如上内容。一. 激活函数1. sigmoid表达式为σ(x)=1/(1+e−x)\sigma(x) = 1/(1+e^{-x})σ(x)=1/(1...原创 2018-09-22 13:40:21 · 353 阅读 · 0 评论 -
CS231n-2017 第5讲 卷积神经网络简介
1. 神经网络发展历史1957, Frank Rosenblatt:神经元,其实就是简单的线性分类器,用于字母识别。1960,Widow & Hoff,Adaline/Madaline,多层感知器网络。1986,Rumelhart,反向传播算法。2006,Hinton & Salakhutdinov,深层神经网络可被高效训练:通过受限玻尔兹曼机来初始化网络参数,然后利用...原创 2018-09-02 22:36:57 · 310 阅读 · 0 评论 -
CS231n-2017 第4讲 反向传播算法与神经网络
一. 反向传播算法计算图模型设有算式f(W,x)=11+e−(ω0x0+ω1x1+ω2)f(W,x)=11+e−(ω0x0+ω1x1+ω2)f(W, x) = \frac{1}{1+e^{-(\omega_0 x_0 + \omega_1 x_1 + \omega_2)}} 使用计算图模型展示其前向计算过程,以及梯度的后向传播过程如下图所示:图 1. 计算图模型...原创 2018-09-02 22:34:26 · 527 阅读 · 0 评论 -
CS231n-2017 第3讲 损失函数与优化
一. 损失函数1. 基本概念为了评估现有的模型的好坏,需要一个定量指标。这就是损失函数起作用之处。 对于由NNN个样本组成的数据集{(xi,yi)}Ni=1{(xi,yi)}i=1N\{(x_i, y_i)\}_{i=1}^N,定义总体损失函数为各个样本造成的损失的平均L=1N∑iLi(f(xi,W),yi)L=1N∑iLi(f(xi,W),yi)L = \frac{1}{...原创 2018-08-30 19:27:50 · 651 阅读 · 0 评论 -
CS231n-2017 第2讲 图像分类:KNN与线性分类
一. 图像分类概述难点(1) ViewPoint Variation: 拍摄视角。(2) Illumination: 光照。(3) Deformation: 变形。(4) Occlusion: 遮挡。(5) Background Clutter: 背景干扰。(6) Intraclass Variation: 同类事物的差异化。上述困难导致无法通过硬编码规则对图像达到良好的...原创 2018-08-30 19:22:51 · 1219 阅读 · 0 评论 -
CS231n-2017 第1讲 课程简介
一. 一些前导和同步课程CS131:Computer Vision: Foundations and ApplicationsCS231a: Computer Vision, from 3D Reconstruction to RecognitionCS 224n: Natural Language Processing with Deep LearningCS 230: Deep L...原创 2018-08-30 19:17:40 · 799 阅读 · 0 评论