深度学习
深度学习
kingsure001
从现在开始
展开
-
np.add.at()
np.add.at()是将传入的数组中制定下标位置的元素加上指定的值.将x中下标为0和为2的元素加上了3,这会改变传入的数组x,如下>>> x=np.array([1,2,3,4])>>> np.add.at(x,[0,2],3)>>> xarray([4, 2, 6, 4])...原创 2020-08-22 14:55:29 · 2259 阅读 · 0 评论 -
cs231n笔记11—强化学习
强化学习:我们有一个代理,能够在其环境中采取行动,也可以因为其行动获得奖励,它的目标是学会如何行动以最大限度地获得奖励。在强化学习中我们有一个代理和一个环境,环境赋予代理一个状态,反过来代理将采取行动,然后环境反馈一个奖励;不断重复这个过程,直到环境给出一个终端状态结束这个环节。例如,游戏也是处理强化学习的一大类问题。 Atari游戏,目标是得到最高的分数;状态是游戏状态的原始像素,行动就是游戏的控制,例如左右上下移动,分数是每一次行动增加或减少的分数;目标就是在游戏中最大化得分。MDP(Mark原创 2020-08-22 13:05:02 · 637 阅读 · 0 评论 -
cs231n笔记10—生成式网络
PixelRNNPixelCNN自动编码器Autoencoder变分自动编码器VAE生成对抗网络GANs密度估计密度估计:估计数据的内在分布情况,在上方有一些一维的点,我们用一个高斯函数来拟合这一密度分布情况PixelRNNPixelRNN属于显式密度模型,它主要运用链式法则来将求出与训练数据相同的分布,如概率分布或似然建模。如下图所示,要想获得条件概率p需要比较复杂的计算,我们用神经网络来实现。从左上角一个一个生成像素,生成顺序为箭头所指顺序,每一个对之前像素的依赖关系都通过RNN来建模.原创 2020-08-19 21:40:07 · 347 阅读 · 0 评论 -
cs231n笔记9—分割,定位,目标检测
语义分割语义分割是指输入图像,并对图像中的每个像素做分类,为每个像素分配标签(如下图牛,树,草,天空)。语义分割并不区分同类目标。(分不出两头牛)全卷积方法是指,把很多的卷积层堆叠在一起组成一个网络,每次卷积层都保持图像大小不变, 然后对每个像素做分类,用网络层一次性完成所有运算。在多个卷积层之间先进行降采样,再进行上采样,使得输出图像的大小等同输入图像的大小降采样方法有:最大池化(pooling)或跨卷积(strided convolution)。跨卷积上采样方法有: 最近距离去池化,原创 2020-08-19 07:48:48 · 264 阅读 · 0 评论 -
numpy.transpose()
链接: https://blog.csdn.net/u012762410/article/details/78912667.转载 2020-08-18 08:10:38 · 94 阅读 · 0 评论 -
cs231n笔记8—RNN
RNN语言模型RNN使用RNN,可以实现1对1、1对多,多对一,多对多模型每个RNN网络都有一个小小的循环核心单元,它把x作为输入,将其传入RNN,RNN有一个内部隐藏态,这一隐藏态会在RNN每次读取新的输入时更新,然后当模型下一次读取输入时,这一内部隐藏态会将结果反馈至模型。这个循环过程的计算公式:在RNN模块中对某种循环关系用f函数进行了计算,这一f函数依赖权重W,它接收隐藏态ht-1和当前态Xt,然后会输出下一个隐藏态或者更新后的隐藏态,称为ht。ht还可以用tanh来变成非线性当读取下.原创 2020-08-17 13:50:40 · 492 阅读 · 0 评论 -
cs231n笔记7—优化/正则化/学习迁移
优化1 普通更新。最简单的更新形式是沿着负梯度方向改变参数(因为梯度指向的是上升方向,但是我们通常希望最小化损失函数)。假设有一个参数向量x及其梯度dx,那么最简单的更新的形式是:# 普通更新x += - learning_rate * dx2 动量(Momentum)更新在这里引入了一个初始化为0的变量v和一个超参数mu。说得不恰当一点,这个变量(mu)在最优化的过程中被看做动量(一般值设为0.9),但其物理意义与摩擦系数更一致。这个变量有效地抑制了速度,降低了系统的动能,不然质点在山底永远原创 2020-08-16 08:46:24 · 324 阅读 · 0 评论 -
激活函数
如果不用激活函数,每一层的输出都是上一层的线性组合,从而导致整个神经网络的输出为神经网络输入的线性组合,无法逼近任意函数。sigmoid数据压缩到[0,1]之间promblems:1 饱和的神经元导致梯度消失, 输入非常大(10)或非常小(-10)时,其梯度接近于02 输出不是以0为均值3 指数运算计算量大(问题不大)tanh数据压缩到[-1,1]之间与Sigmoid相比,tanh是0均值的。promblems:与Sigmoid一样, 饱和的神经元导致梯度消失...原创 2020-08-14 18:19:49 · 269 阅读 · 0 评论 -
cs231n作业1的不会函数,求导公式
看了下cs231n的作业,有些函数不知道,搜了博文记一下X.reshape(X.shape[0], -1)X.reshape(X.shape[0], -1)可以将一个维度为(a,b,c,d)的矩阵转换为一个维度为(a, b∗c∗d,)的矩阵X.shape(209, 64, 64, 3)#我们假设x的shape是(209, 64, 64, 3)的。X.shape[0]209X.reshape(X.shape[0], -1)(209, 64*64*3)通过reshape重新建立维度,第一个原创 2020-08-13 18:15:07 · 207 阅读 · 0 评论 -
cs231n笔记6—卷积神经网络
卷积神经网络(CNNs / ConvNets)卷积神经网络和上一章讲的常规神经网络非常相似:它们都是由神经元组成,神经元中有具有学习能力的权重和偏差。每个神经元都得到一些输入数据,进行内积运算后再进行激活函数运算。整个网络依旧是一个可导的评分函数:该函数的输入是原始的图像像素,输出是不同类别的评分。在最后一层(往往是全连接层),网络依旧有一个损失函数(比如SVM或Softmax),并且在神经网络中我们实现的各种技巧和要点依旧适用于卷积神经网络。神经元的三维排列。卷积神经网络针对输入全部是图像的情况,将结原创 2020-08-12 13:48:36 · 730 阅读 · 0 评论 -
cs231n笔记5—反向传播/神经网络
反向传播神经网络反向传播问题陈述:这节的核心问题是,给定函数f(x),其中x是输入数据的向量,需要计算函数f关于x的梯度,也就是∇f(x)。反向传播是利用链式法则递归计算表达式的梯度的方法。理解反向传播过程及其精妙之处,对于理解、实现、设计和调试神经网络非常关键1 简单表达式和理解梯度从简单表达式入手可以为复杂表达式打好符号和规则基础。上式是说,如果该变量比另一个变量大,那么梯度是1,反之为02 使用链式法则计算复合表达式输入计算到输出(绿色),反向传播从尾部开始,根据链式法则递.原创 2020-08-10 19:34:55 · 344 阅读 · 0 评论 -
cs231n笔记4—优化
最优化 Optimization策略#1:一个差劲的初始方案:随机搜索(可直接跳到第三个方法哦)策略#2:随机本地搜索(可直接跳到第三个方法)策略#3:跟随梯度(great !)1 利用有限差值计算梯度/数值梯度法微分分析计算梯度对于图像数据 xi,如果基于参数集 W 做出的分类预测与真实情况比较一致,那么计算出来的损失值 L就很低。现在介绍第三个,也是最后一个关键部分:最优化Optimization。最优化是寻找能使得损失函数值最小化的参数 W 的过程。铺垫:一旦理解了这三个部分是如何相互运作的,.原创 2020-08-10 10:30:57 · 325 阅读 · 0 评论 -
cs231n笔记3—损失函数
损失函数一 多类支持向量机损失二 Softmax分类器损失函数回到之前那张猫的图像分类例子,它有针对“猫”,“狗”,“船”三个类别的分数。我们看到例子中权重值非常差,因为猫分类的得分非常低(-96.8),而狗(437.9)和船(61.95)比较高。我们将使用损失函数(Loss Function)(有时也叫代价函数Cost Function或目标函数Objective)来衡量我们对结果的不满意程度。直观地讲,当评分函数输出结果与真实结果之间差异越大,损失函数输出越大,反之越小。一 多类支持向量机损失.原创 2020-08-09 17:48:09 · 789 阅读 · 0 评论 -
cs231n笔记2—线性分类
损失函数/优化原创 2020-08-09 16:31:21 · 201 阅读 · 0 评论 -
cs231n笔记1—数据驱动/图像分类/Nearest Neighbor/k -Nearest Neighbor
一 数据驱动方法:二 图像分类三 Nearest Neighbor分类器四 K-近邻算法确定超参数kNearest Neighbor分类器的优劣一 数据驱动方法:如何写一个图像分类的算法呢?我们采取的方法和教小孩儿看图识物类似:给计算机很多数据,然后实现学习算法,让计算机学习到每个类的外形。这种方法,就是数据驱动方法。二 图像分类图像分类就是输入一个元素为像素值的数组,然后给它分配一个分类标签图像分类流程,如下:输入:输入是包含N个图像的集合,每个图像的标签是K种分类标签中的一种。这个集合称.原创 2020-08-09 11:20:31 · 271 阅读 · 0 评论