![](https://img-blog.csdnimg.cn/20201014180756923.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
cs231n
文章平均质量分 83
潘小榭
人来到这个世界,只要你有欲望,你必定要面对跨越。你想活下去就要去抭争。不要怨天和怨地,要活下去的是你自己。陷入生活困境时往往就剩孤身一人,成功了周围才有很多人。这就是现实,痛苦留给自己,快乐和别人分享。
展开
-
cs231n notes:Python Numpy Tutorial
##cs231n notes:Python Numpy Tutorial#idctionaryd = {'cat':'cute','dog':'furry'}#三种遍历方式for k,v in d.items(): print(k,v)for i in d: print(i,d[i])cat cutedog furrycat cutedog furry#get(key[原创 2017-10-31 22:49:34 · 284 阅读 · 0 评论 -
09. 训练神经网络4 --- 超参数调试,BN正则化再解析
1. 超参数调试方法1) Try random values, and donnot use a grid2) Coarse to fine3) using an apporiate scale to pick hyperparameters以对学习率αα\alpha的调试为例,需要从[0.0001,1]之间随机选择进行调试.显然,随机选出来的90%会集中在[0.1,1]之间....原创 2018-03-15 14:25:02 · 1112 阅读 · 0 评论 -
08. 训练神经网络3 -- 优化算法
前面一部分主要讲了神经网络在前向传播过程中对数据的处理,包括去均值预处理, 权重初始化, 在线性输出结果和激活函数之间批量归一化BN,以及进入下一层layer之前的随机失活.那么这一部分将介绍在反向传播过程中对梯度下降的处理,也就是几种优化算法.真的很佩服这些人…一个梯度下降,你之前可能想的就是w−=αdww−=αdww -= \alpha dw就好了,但研究者们也能大做文章,厉害厉害!!...原创 2018-03-15 14:24:40 · 350 阅读 · 0 评论 -
07. 训练神经网络2
数据预处理归一化 NormalizationPCA降维和白化 权重初始化批量归一化 Batch Normalization正则化 L1, L2正则化Dropout and 反向 Dropout属性分类:一个样本有多个标签偏差和方差 bias and variance1. 数据预处理对原始数据进行预处理:均值减法(Mean subtraction)...原创 2018-03-15 14:24:11 · 194 阅读 · 0 评论 -
06. 训练一个神经网络1-- epoch,batch_size,iteration
batch_size, iteration, epoch1. 训练数据集的喂入:batch_size, iteration, epoch1.1. 首先需要先了解下梯度下降梯度下降是一种迭代优化算法,用于寻找最佳结果,loss的最小值。迭代意味着我们需要多次得到结果才能得到最优的结果。 梯度下降的迭代质量有助于拟合图形使图形最适合数据。左图中我们可以看到步长(又称学习...原创 2018-03-15 14:23:10 · 1088 阅读 · 0 评论 -
05. 神经网络的结构
生物神经元的粗略模型;激活函数,其中ReLU是最佳推荐;理解了神经网络是一个通用函数近似器,但是该性质与其广泛使用无太大关系。之所以使用神经网络,是因为它们对于实际问题中的函数的公式能够某种程度上做出“正确”假设。讨论了更大网络总是更好的这一事实。然而更大容量的模型一定要和更强的正则化(比如更高的权重衰减)配合,否则它们就会过拟合。在后续章节中我们讲学习更多正则化的方法,尤其是dropou...原创 2018-03-15 14:22:43 · 718 阅读 · 0 评论 -
04. logistic回归-反向传播
logistic回归反向传播反向传播这应该是神经网络里面最难的部分了吧~~为此除了CS231n的课,还结合了Coursera上Ng的deeplearning课程logistic 回归想直接看反向传播的视频的,但发现Ng的符号使用不太一样,所以先从头看点~顺便重新理解了一下logistic回归,貌似又有了新的感觉~就记录下来吧1. 符号表示:input:x.sh...原创 2018-03-15 14:22:14 · 3379 阅读 · 1 评论 -
03.最优化-求梯度
损失函数可视化最优化 有限差值法求梯度微分法求梯度:softmax为损失函数时推导前面介绍了两部分: 1. 评分函数:将原始图像像素映射为分类评分值 2. 损失函数:根据评分函数和训练集图像数据实际分类的一致性,衡量某个具体参数集的质量好坏。 那么寻找到能使损失函数值最小化的参数的过程就是最优化 Optimization。损失函数可视化损失函数L可以看作是权重W...原创 2018-03-15 14:21:41 · 2178 阅读 · 0 评论 -
01.Python Numpy Tutorial
##cs231n notes:Python Numpy Tutorialimport numpy as np#idctionaryd = {'cat':(6,7),'dog':(7,5),'dog2':(8,3),'dog3':(9,10)}print(d['cat'][0])c = sorted(d.items(),key=lambda item:item[1][0],reverse ...原创 2018-03-15 14:21:03 · 199 阅读 · 0 评论 -
02.线性分类器-SVM-Softmax
线性分类器 评分函数 score function线性分类器的理解和解释损失函数 loss function 多类SVMsoftmax分类器SVM和softmax比较KNN分类器存在的不足:分类器必须记住所有的训练数据并存储起来,以便未来测试数据比较,需要很大的空间对一个测试数据需要与所有的训练数据进行比较,需要很大的计算资源和时间为此,我们需要一种更好的方法...原创 2018-03-15 14:17:00 · 307 阅读 · 0 评论 -
cs231n笔记总结
cs231n的课程以及作业都完成的差不多了,后续的课程更多的涉及到卷积神经网络的各个子方向了,比如语义分割、目标检测、定位、可视化、迁移学习、模型压缩等等。assignment3有涉及到这些中的一部分,但需要深入了解的话还是得看论文了。所以在看论文前把之前已学的知识,笔记和作业代码一起做个整理。 博客里主要是自己在这个过程中做的笔记,其中很多直接贴的知乎上的翻译版note,作业放在github上...原创 2018-03-15 14:09:27 · 2697 阅读 · 0 评论 -
最优化 Ooptimization
损失函数可视化最优化前面介绍了两部分: 1. 评分函数:将原始图像像素映射为分类评分值 2. 损失函数:根据评分函数和训练集图像数据实际分类的一致性,衡量某个具体参数集的质量好坏。 那么寻找到能使损失函数值最小化的参数的过程就是最优化 Optimization。损失函数可视化损失函数L可以看作是权重W的函数,在CIFAR-10中一个分类器的权重矩阵大小是[10,307原创 2018-02-01 12:15:17 · 404 阅读 · 0 评论 -
线性分类器
线性分类器 评分函数 score function线性分类器的理解和解释损失函数 loss function 多类SVMsoftmax分类器SVM和softmax比较KNN分类器存在的不足:分类器必须记住所有的训练数据并存储起来,以便未来测试数据比较,需要很大的空间对一个测试数据需要与所有的训练数据进行比较,需要很大的计算资源和时间为此,我们需要一种更好的方法:原创 2018-01-31 16:08:07 · 564 阅读 · 0 评论 -
cs231n knn
k近邻(KNN)KNN分类器分为两个阶段:在训练阶段,分类器获取训练数据,并记住它;在测试阶段,knn分类器计算每一张测试集的图片与训练集中所有图片的距离,并导出k个最近的训练样本的类标签;对k进行交叉验证# 获取数据from six.moves import cPickle as pickleimport osimport numpy as npdef load_CIFAR_batc原创 2017-11-01 23:55:27 · 363 阅读 · 0 评论 -
cs231n svm
https://github.com/PanXiebit/cs231ndef svm_loss_naive(W, X, y, reg): """ Inputs have dimension D, there are C classes, and we operate on minibatches of N examples. Inputs: - W: A num原创 2017-11-10 10:57:43 · 427 阅读 · 0 评论 -
cs231n-LSTM_Captions
这篇文章是将cs231n中LSTM_Caption重新敲了一遍,所有的模块放在一起,以便于系统的理解整个过程。目的是读懂其中的每一行代码,即使是课程中已经帮你写好了的。# As usual, a bit of setupfrom __future__ import print_functionimport time, os, jsonimport numpy as npimport...原创 2018-03-09 23:55:30 · 1558 阅读 · 0 评论