![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cs231n
就叫荣吧
这个作者很懒,什么都没留下…
展开
-
cs231n训练营学习笔记(9)卷积和池化
卷积具有部分连接和权重共享的特征,共享的权重就是卷积核,因为它划过所有图像分别和图像切片相乘,相当于很多的卷积核共同组成权重。 从函数角度解读卷积神经网络工作原理 每个卷积核(感受野receptive field)对应输出一个激活映射(activation map),每层ConvNet由多个卷积核输出的激活映射组成, 与前面线性分类器不同,前面的权重的每行对应该类的模板,输出是分数,相当于是...原创 2019-12-27 15:33:02 · 240 阅读 · 0 评论 -
cs231n训练营学习笔记(8)简单双层全连接神经网络
全连接神经网络 前面的线性分类器是,x是一个列向量,W把结果变成10个元素的列向量 神经网络不同,例如一个简单二层网络,里面是和上面一样的线性处理,得到中间变量,假设是100维的,然后做非线性处理,然后得到最后的10维列向量。非线性不会和线性的合并,所以才分了层。 参数通过训练,随机梯度下降和反向传播学到 对单个神经元建模 每个神经元都对它的输入和权重进行点积,然后加上偏差,最后使用...原创 2019-12-25 15:46:44 · 642 阅读 · 0 评论 -
cs231n训练营学习笔记(12)
批量归一化 在高斯范围内保持激活 我们想要单位高斯激活 如何工作 在某一层上批量激活 如果想要正确地激活单位高斯函数,可以取目前的均值,然后用均值和方差归一化 ...原创 2019-12-23 22:02:21 · 146 阅读 · 0 评论 -
cs231n训练营学习笔记(7)
反向传播 计算复杂函数的解析梯度,(每个变量的导数指明了整个表达式对于该变量的值的敏感程度) 利用计算图这个框架 圆形节点表示运算,也被叫做门(gate) 复杂函数梯度根据链式法则反向递归得到,每个圆形节点可得到局部梯度 下面是一个例子,为了方便理解 更复杂的情况是,各个变量,比如上面局部梯度的x,y,z是向量的时候,局部梯度就变成了雅可比矩阵 但是当维数太大以及一次需...原创 2019-12-23 21:51:20 · 164 阅读 · 0 评论 -
cs231n训练营学习笔记(6)
跑代码,softmax 最开始,写softmax_loss_naive用循环求loss和gradient softmax分类器使用交叉熵loss,公式为 编程实现时候稍微利用了广播,10个分数一起算的 for i in range(num_train): scores = X[i].dot(W) scores -= max(scores)#避免溢出 score...原创 2019-12-23 16:21:19 · 116 阅读 · 0 评论 -
cs231n训练营学习笔记(5)
作业2,跑代码,MSVM 先用mask把50000张图训练集图分成49000训练集和1000验证集 用numpy.random.choice从训练集里随机抽500个作为development,提速用的 numpy.random.choice(a, size=None, replace=True, p=None)是从a里抽size个,replace:True表示可以取相同数字,数组p:与数组a...原创 2019-12-23 10:58:03 · 218 阅读 · 0 评论 -
cs231n训练营学习笔记(4)
知道了W是什么之后的问题是怎样选出W:先用损失函数衡量W的好坏,然后用优化方法选出最好的W 目录 损失函数和优化 1.HingeLoss表达式 二元SVM或叫二分类SVM的推导(待写) 2.加正则的目的 3.Softmax与交叉熵损失公式 softmax softmax如何在编程计算的时候稳定 交叉熵 交叉熵损失的最大值与最小值(待写) softmax求导(...原创 2019-12-09 17:33:09 · 238 阅读 · 0 评论 -
cs231n训练营学习笔记(2)
目录 1.图像分类数据和label分别是什么图像分类存在的问题与挑战 2.L1范数,L2范数数学表达式这两种度量分别适用于什么情况 3.描述近邻算法KNNNN算法复的杂度为什么很少使用在图像中以及它存在的问题 4.了解cifar10数据集 5.超参数怎么选择合适(即数据集如何划分) 1.图像分类数据和label分别是什么图像分类存在的问题与挑战 数据就...原创 2019-12-02 19:34:04 · 188 阅读 · 0 评论 -
cs231n训练营学习笔记(3)
1.f(x,w)线性分类器与knn区别 knn直接用图像的像素距离做分类,线性分类器是用特征的线性组合来分类 knn直接把所有图像像素存下来作为训练结果来与测试图像比对, 线性分类器会得到W,b,也就是训练得到的权重和偏差参数,f(x,w)=Wx+b这种得到的特征的线性组合就是模板,可以说是一种全局特征,然后用训练得到的模板和测试图像比对 b这个偏差是当数据集不平衡时候,为了训练效...原创 2019-12-05 11:11:13 · 339 阅读 · 0 评论 -
cs231n训练营学习笔记(1)
cs231n这个课的前半部分看过两遍了,始终没能把这个课学完,希望参加训练营能督促我学完这门课,动手实践作业。 目录 一、关于猫视觉试验的结论: 二、关于第一课提到的目标分割概念: 三、关于Adaboost人脸检测算法实现 四、关于ImageNet,Pascal Voc这两个数据集 五、关于SIFT、SPM、HoG、DpM这四篇论文 SIFT(Scale-Invariant Fea...原创 2019-11-30 12:23:15 · 199 阅读 · 0 评论