计算机视觉
神经网络与计算机视觉
Stockholm_Sun
这个作者很懒,什么都没留下…
展开
-
Stanford CS231n 开帖祭
Stanford CS231n Note1最近(说来也得有半年多了)在看CV,觉得多学点东西求得一技之长嘛,然后在网上找了一些比较靠谱的课程,然后看了一些吴恩达,现在在看李飞飞的Stanford CS231n。然后正在读训练网络,除了觉得自己的英语愈发卑微……其实感觉还是学到了不少。然后这几天开始做一些Homework,前期准备的话,应该是需要一些的,先讲下我辣鸡电脑的一些情况,WIN10+P...原创 2019-07-29 12:01:57 · 378 阅读 · 0 评论 -
损失函数 梯度 优化
损失函数 梯度 优化上次看到了损失函数究竟是什么样子的,这次我们就来看看如何针对损失函数进行优化。首先按照CS231n课程的内容,我们导入了一个情境,在一个山地区域中我们想要到达地势最低点,那该怎么办。第一种想法就像吃鸡游戏一样,我在随机地点降落无数次,找到这一批随机地点中最低的,把它当作最小值。首先,这个的耗时实际取决于你降落的次数;其次,这玩意儿真的效果不好,而且不难看出,这种想法带来的...原创 2019-08-02 18:13:00 · 1049 阅读 · 0 评论 -
Notes on Python
基于CS231n的课程笔记这是一个基于Stanford CS231n课程笔记的小总结,主要以简明的文字叙述和Python代码呈现。鸣谢文章笔记来源 知乎Containers 容器这里侧重于看最简单的Lists列表,Dictionary字典,Set集等不在此处详述。Slicing 切片nums = range(5) # range is a built-in function th...原创 2019-07-30 18:13:08 · 270 阅读 · 0 评论 -
反向传播
反向传播(简述)这次简单的记录一下反向传播是怎么回事。在最开始,先引入一个概念:Computational Graphs 计算图以带正则惩罚项的线性分类器为例,它的计算图简述如下:这个理解起来比较简单,就是把运算符顺序排好之后,把变量通过运算符组合成中间变量,最后到达L的一张图就好了。这里再给出一个函数来辅助理解这件事情:它的计算图如下所示:接下来我们就以此为例展开说明反向传播...原创 2019-08-03 10:31:55 · 610 阅读 · 0 评论 -
激活函数
激活函数这次看看激活函数及其相关。先来看看一个简单神经元的结构吧!在胞体之前是有一个WX的计算,再加上一个bias,从而求算出新的数值,这时候激活函数出场了,它的目的就是对刚刚的数值进行一个转换,使得转换后的数值更加易于后期的处理。激活函数家族中大家比较熟悉的就是我们在反向传播的时候引例中的Sigmoid函数。那么我们就看看Sigmoid函数的特性。Sigmoid 函数首先一个比较显然...原创 2019-08-03 18:04:03 · 151 阅读 · 0 评论 -
批量归一化(Batch Normalization)
批量归一化在机器学习中,会提到这样一种数据处理的操作。首先将数据进行处理时,我们想把数据云变成零中心的,所以我们对每一个数据减去它们的均值,要想让它们在一个小区域内,那就再除以它们的方差。这样一来,网络处理数据就服从均值为0,方差为1的分布,也就是标准高斯分布。值得一提的是,图像处理中第二步基本不需要,因为数据规模是确定的,大概就是0-255,别无它选。总结如下:(图源知乎)学过高中数学的筒...原创 2019-08-03 22:02:18 · 3290 阅读 · 0 评论 -
更好的优化
更好的优化这次介绍几个更好的优化,回忆一下 损失函数 梯度 优化 一节我们所介绍的内容,我们介绍了最简单的优化算法:随机梯度下降(SGD)。然而,这个算法难以处理一些比较奇怪的情况,让我们来看看。引例损失函数的梯度登高表述如下图等高线,在这类函数上如果运行SGD,由于在竖直方向上梯度比较高,所以步长*梯度带来的在此方向的移动距离会很大,对应的水平距离移动就很小,结果就会造成像图中红线这样的又...原创 2019-08-05 10:23:19 · 382 阅读 · 0 评论 -
损失函数和正则化 Loss Function& Regularization
By Stockholm_Sun我们来谈谈关于深度学习的概念,损失函数。这次我将给出一些例子来解释。(Slide From Stanford CS231n)显然,现在的情况是:猫没有被正确分类,车是对的,青蛙完全错了。为了使它们完全正确,我们引入了损失函数。现存的损失函数还是比较多样的,这里介绍两种。SVM lossSVM损失函数具有如下形式:由于自变量的变化像一个合页,所以又...原创 2019-07-31 21:58:24 · 5660 阅读 · 0 评论 -
CS231n Assignment 1
聊了这么多理论,这次要开始实践了。今天先来看看第一次作业的内容,Stanford给出的题目在这里。Q1: k-Nearest Neighbor classifier (20 points)The IPython Notebook knn.ipynb will walk you through implementing the kNN classifier.Q2: Training a Su...原创 2019-08-05 17:38:13 · 356 阅读 · 0 评论