- 博客(19)
- 资源 (4)
- 收藏
- 关注
RSS订阅原创 Lecture 12: Visualizing and Understanding
CS231nLecture 12: Visualizing and UnderstandingVisualizeFilters of first layerfeature sof last layer: t-SNEVisualizing ActivationsOcclusion ExperimentsSaliency Maps: 梯度反传到输入Intermediate fe...
2018-04-25 16:37:06
187
原创 Lecture 11: Detection and Segmentation
CS231nLecture 11: Detection and SegmentationSemantic SegmentationLabel each pixel in the image with a category label Not differentiate instances, only care about pixels 最简单的想法：Sliding window，但...
2018-04-25 11:29:57
228
原创 Lecture 10: Recurrent Neural Networks
CS231nLecture 10: Recurrent Neural Networks RNN one many one Vanilla Image captioning many Sentiment Classification Machine Translation,Video classification on frame level...
2018-04-25 11:12:36
280
原创 Lecture 9: CNN Architectures
CS231nLecture 9: CNN ArchitecturesCase StudiesLeNet-5AlexNetZFNetVGGNetsmaller filters:Stack of three 3x3 conv (stride 1) layers has same effective receptive field as one 7x7 conv la...
2018-04-25 10:34:05
240
原创 Lecture 8: Deep Learning Software
CS231nLecture 8: Deep Learning SoftwareCPU < GPUCPU: Fewer cores, but each core is much faster and much more capable; great at sequential tasks GPU: More cores, but each core is much slower ...
2018-04-25 10:14:48
140
原创 Lecture 7: Training Neural Networks, Part 2
CS231nLecture 7: Training Neural Networks, Part 2OptimizationSGDw -= lr * gradLoss function has high condition number: ratio of largest to smallest singular value of the Hessian matrix is l...
2018-04-25 09:55:23
210
原创 Lecture 6: Training Neural Networks, Part I
CS231nLecture 6: Training Neural Networks, Part IReview回顾之前的内容，我们学习了神经网络的反向传播训练方法和CNN的结构，于是对于CNN我们可以用反向传播方法进行训练，具体方式是 1. 采样mini-batch 2. 前向传播获得loss 3. 根据loss进行反向传播梯度 4. 根据梯...
2018-04-25 09:29:37
248
原创 Lecture 5: Convolutional Neural Networks
CS231nLecture 5: Convolutional Neural NetworksHistoryRosenblatt Perceptron →→\to Rumelhart Back-propagation →→\to Hinton RBM →→\to DBN →→\to AlexNet Hubel & Wiesel →→\to FUKUSHIMA Neuroco...
2018-04-24 23:03:16
183
原创 Lecture 4: Backpropagation and Neural Networks
CS231nLecture 4: Backpropagation and Neural NetworksBackpropagation反向传播的理论基础：多元函数微分学中的链式法则 z=z(x,y),x=x(u,v),y=y(u,v)⇒dz=∂z∂xdx+∂z∂ydy=∂z∂x(∂x∂udu+∂x∂vdv)+∂z∂y(∂y∂udu+∂y∂vdv)⇒∂z∂u=∂z∂x∂x∂u+∂z...
2018-04-24 23:02:37
231
原创 Lecture 3: Loss Functions and Optimization
CS231nLecture 3: Loss Functions and Optimization上节课介绍了线性分类器，这节课介绍如何通过定义合适的loss函数（正如《统计学习方法》中介绍的统计学习三大要素之一的“策略”）并优化该loss得到合适的参数（“算法”）lossSVM loss/Hinge loss L(x,y)=∑i≠ymax(0,si−sy+1)L(x,y)=∑i...
2018-04-24 22:45:44
213
原创 Lecture2: Image Classification pipeline
CS231nLecture2: Image Classification pipeline图像分类计算机视觉的一项核心任务图像→→\to类别对于计算机而言，图像仅仅是一个数组/流形困难：视角变化、光照、变形、遮挡、背景混淆、类内差异没有显然的解决方案利用机器学习方法，从数据中学习NN：训练时间复杂度O(1)O(1)O(1)，测试时间复杂度O(N)O(N)O(N)kNN：...
2018-04-24 21:53:51
220
原创 Lecture 1: Introduction
CS231nLecture 1: Introduction计算机视觉简史物种大爆炸时期生物开始有原始视觉→→\to文艺复兴时期Leonardo da Vinci的原始相机Obscura→→\to1959年Hubel和Wiesel关于视觉的研究→→\to1963年Larry Roberts利用Block对世界进行建模→→\to1966年MIT欲毕其功于一役→→\to1970s Dav...
2018-04-24 21:43:37
148
原创 组合数学引论
组合数学引论许胤龙、孙淑玲一、鸽巢原理Ramsey数习题二、排列组合加/减法原理、乘/除法原理排列从nnn元集合SSS中选出rrr 个元素将其按次序排列。其数目用ArnAnrA_n^r或P(n,r)P(n,r)P(n,r)表示。 Arn=n!(n−r)!Anr=n!(n−r)!A_n^r = \frac{n!}{(n-r)!}组合从nnn元集合SS...
2018-04-24 17:46:13
2124
原创 SPATIALLY TRANSFORMED ADVERSARIAL EXAMPLES
SPATIALLY TRANSFORMED ADVERSARIAL EXAMPLES本文发表在ICLR2018上引言传统的对抗样本生成方式都是加扰动，是一种像素值变换，本文提出一种空域变换生成对抗样本的方法stAdv，虽然基于此方法在传统的对抗样本生成评价指标中和原图像会有较大的LpLpL^p距离，但是从人的视觉感官上这种变换方式更真实，且更不容易被现有对抗攻击防御方法检测出来。 传...
2018-04-24 10:26:32
1630
原创 Lecture04: Convnets from First Principles: Generative Models, Dynamic Programming & EM
STATS385Lecture04: Convnets from First Principles: Generative Models, Dynamic Programming & EM为什么我们需要深度学习乃至机器学习？因为对于目标识别这样的任务来说充满了许多纷芜繁杂的困难（nuisance variation），它们影响传感器的输入但是并不影响物体的类别。那如何解决这些...
2018-04-24 08:30:46
194
原创 Lecture03: Harmonic Analysis of Deep Convolutional Neural Networks
STATS385Lecture03: Harmonic Analysis of Deep Convolutional Neural Networks深度学习在ImageNet图像分类、image captioning的成绩；图像分类的一般步骤：特征提取+线性分类器。对于线性不可分的数据，需要用非线性特征提取；图像分类的要求：translation invariance, defo...
2018-04-23 23:11:28
312
原创 Lecture 02: Theories of Deep Learning
STATS385Lecture 02: Theories of Deep Learning感知机→→\to 单层神经网络→→\to 多层神经网络/多层感知机反向传播卷积神经网络：LeNet, AlexNet, ReLU, max pooling, dropout（来自CS231n）正则化实际上在人类的视觉机制中有所体现，提取图像特征同时保证稀疏性就会导致正则化；一些值得思考的问题...
2018-04-23 16:57:45
154
原创 Lecture 01: Deep Learning Challenge: Is There Theory?
STATS385Lecture 01: Deep Learning Challenge: Is There Theory深度学习近几年来势头很猛，发展很快，从Google搜索量、NIPS论文发表量和CS231n课程的选课人数可见一斑；虽然以深度学习为代表的人工智能在国际象棋（Deep Blue）、DARPA挑战赛和围棋（AlphaGo）上都超越了人类，但是离真正的人工智能/强⋅⋅\...
2018-04-23 16:26:03
191
原创 论文阅读笔记：GENERATING NATURAL ADVERSARIAL EXAMPLES
论文阅读笔记：GENERATING NATURAL ADVERSARIAL EXAMPLES本文发表在ICLR2018上问题传统对抗样本是unnatural的，在真实数据中几乎不存在contribution提出了一种生成更natural, legible的对抗样本的方法，这种方法可以用来衡量模型的鲁棒性方法1、利用WGAN和（无标注）真实数据X训练一个生成器...
2018-04-18 21:28:53
3070
1
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人