donghai_yu的博客

作业地址：https://github.com/donghaiyu233/cs231n，欢迎fork~。先看看作业要求：其实跟SVM相比较，依旧时线性模型只是变化了loss function，我们不再使用hinge loss而是使用交叉熵cross_entropy Loss:,然后是导数：      Softmax有个好处是得到的结果为该类别的概率，而在SVM下，我们只知道得分最高的为预测的结果，...

经过前面对CNN的直观上的理解和公式的推导，我们也可以完成手写CNN的工作了，写完成就感MAX。reference：   CNN反向传播推导， deeplearning.ai CNN，CS231n note1.conv_forward_naive首先根据题目中给出的信息，确定卷积核尺寸（数量、通道、高、宽）N, C, H, W = x.shapeF, C, HH, WW = w.shape（1）...

最开始接触CNN是接到任务要用深度学习做手写数字识别，当时只是把它当作了一个黑匣子没有深入理解它的工作机理，只是利用训练好的Lenet，数据丢进去再训练一番，得到的模型直接扔给Opencv。不过课程中对CNN的原理进行了详尽的讲述，结合找到的一些资料，记个小笔记。1.卷积2.池化（选）3.Activate function4.FC1.卷积Convolution Networks，一看重点就在卷积上...

都大三下了，课业还是很重，被光纤光学虐了两天，今天终于可以继续开始撸CS231n啦\^o^/.这次是Fully-connected Nerual Network + Batch Normalization + Dropout.Part 1 Fully-connected Nerual Network在assignment1中，我们已经完成了一个两层的全连接层，实现比较简单但模块化不够好。现在我们要...

做CS231n作业碰到要实现CNN，在反向传播部分卡住，找了一些资料仔细推导了一番才得到结果，感觉有一些资料没有写清楚，这里把自己结合资料的推导过程与大家分享。参考：Convolutional Neural Networks backpropagation:from intuition to derivation          CNN反向传播算法 主要借鉴了这一篇博客，再拜，主要在此为基础上做...

学习Batch Normalization时，对BN的工作原理没有弄清楚，查阅了不少资料后才对它有了较为深入的理解，这里分享一下我自己对于BN的理解，希望能给同样有困惑的同学帮助，大家多多交流学习。附上原论文地址，建议有时间的话看一遍，会对过程的计算有更好的了解。传送门1.What is Batch Normalization（BN）Batch Normalization（批归一化），像FC-la...

以前优化都是使用的SGD，今天学习了几种更好的优化方法(momentum、Nesterov、Adagrad、RMSProp、Adam)，这里将它们的原理和自己的理解记录下来，SGD（stochastic gradient descent）随机梯度下降法，即随机抽取一批样本，根据这批样本进行梯度下降，其实为梯度下降的batch版本，之前的作业都是用的这种方法。工作过程为：              ...

   作业地址：https://github.com/donghaiyu233/cs231n，欢迎fork~。    接近assignment1的尾声了，这次我们要完成的是一个两层的神经网络，要求如下：   RELU使用np.maximum()即可；   Softmax与作业上个part相同，可以直接照搬。   不同的地方在求导，两个全连接层，共有W1 b1 W2 b2四个参数。对于它们具体的计算...

    正在学习cs231n，记录下自己写作业的过程    自己也是深度学习新手，希望能和大家多多交流学习啦,附上我的作业地址：https://github.com/donghaiyu233/cs231n，欢迎fork~。1.knn（k-Nearest Neighbor）原理思想：训练过程仅仅为记住所有的训练数据，predict过程为在训练数据中找与之最相近的k个图片的标签，k个标签进行一次投票，...

   作业地址：https://github.com/donghaiyu233/cs231n ，欢迎fork~。   先来看一看作业要求：重点在于SVM的loss function、gradient descent、完成SGD的optimize和W的可视化。话不多说，开始干活！1.SVM（Support Vector Machine）原理    最终还是因为太懒orz，不如引用经典，以下是自己推荐...

本次的作业很贴心，在ipython的作业中有一段教程大概告诉我们tensorflow的基本使用，还附上了一些常用API的guide链接，赞！没有科学上网也没有关系，我这里分享一个API查询神器 DevDocs，offline data对于我这种家里没有网的同志更是实用性MAX！作业过程中碰到不清楚的API随手一查即可~作业代码地址：my_github废话不多说，看作业首先是作业里已经写好的simp...