- 博客(11)
- 收藏
- 关注
RSS订阅原创 CS231n笔记十：循环神经网络
在CV中，最常见的RNN的应用领域就是视频处理（如manytoone的RNN，可以输入一段视频，然后输出视频中的动作/活动）。
2022-07-25 15:36:49
529
原创 CS231n笔记九：图像目标检测和图像分割
将图像的每个pixel分到一个类别中，只关注像素，不区分实例instance。如右边的两头牛虽然是两个实例，但我们不能把它们区分开，只会把这一堆像素全部标记为牛。
2022-07-22 18:20:13
2560
原创 CS231n笔记八：CNN经典框架
Smaller filters， Deeper networks.1、VGGNet中用到的卷积核都是3 * 3的，尺寸非常小，为何？？？答：对于三个3 * 3的卷积核（步长为1），其感受野（effective respective field)和一个7 * 7的卷积核是一样的，都是7 * 7的感受野。但小卷积核可以使网络更深（本来一层7 by 7 layer，现在变成3层3 by 3 layers），这样可以有更多的非线性函数nonlinearity；同时小卷积核组合整体所需的参数比相同感受野的大卷积核
2022-07-09 21:33:00
670
原创 CS231n笔记七：训练神经网络3（优化方法）
对于随机梯度下降算法，这个问题在高维空间中会更加普遍。也就是说学习步长并没有很平均的分配到两个参数上，对于一个参数它变化得过快，而另一个参数却没什么变化。局部极小值(local minima)或鞍点(saddle points)（1）啥是鞍点：鞍点（Saddle point），在微分方程中，沿着某一方向是稳定的，另一条方向是不稳定的奇点，叫做鞍点。在泛函中，既不是极大值点也不是极小值点的临界点，叫做鞍点。在矩阵中，一个数在所在行中是最大值，在所在列中是最小值，则被称为鞍点。在物理上要广泛一些，指在一个
2022-07-06 21:33:38
685
原创 CS231n笔记六：训练神经网络2（批量归一化、监督学习过程、超参数优化）
基本思想：希望激活函数在我们想要的高斯范围内保持激活状态。对深层神经网络来说，随着网络训练的进行，前一层参数的调整使得后一层输入数据的分布发生变化，这种变化可能导致这个输入数据的分布又变得不太好了。所以即使最开始的输入数据input已做标准化，训练中模型参数的更新依然很容易导致后面层输入数据分布的变化，只要网络的前面几层发生微小的改变，那么后面几层就会被累积放大下去。最终造成靠近输出层的输出结果的剧烈变化。这种计算数值的不稳定性通常令我们难以训练出有效的深度模型。如果训练过程中，训练数据的分布一直在发生变化
2022-06-29 19:54:55
754
原创 CS231n笔记五：训练神经网络1（激活函数、数据预处理、权值初始化）
在全连接层或卷积层，我们会输入与权重值W矩阵相乘，得到一个中间结果（对全连接层是一个值，对卷积层是一个矩阵）。对于这个结果，需要将其输入到一个激活函数或者非线性单元中，以得到最终输出。过程如下：这里是一些激活函数的例子：初始化的原则是需要打破参数对称化！！！初始化W为小的随机数其中np.random.randn(d1,d2,…,dn)会产生一个或一组服从“0~1”均匀分布的随机样本值，取值范围为[0, 1)，不包括1。但这种方法不适用于大型复杂网络。因为大型网络往往层数很多，而每一层的权值都是一些
2022-06-21 16:19:34
502
原创 CS231n笔记四：神经网络与卷积神经网络
内容基本同人工智能基础课，以下仅进行一些补充。在一个全连接层中，两层中的所有节点都会相连。在下面这个例子，输入input本来是32 * 32 *3的图片，但却被伸展成了3072 * 1的向量来保证它能和输出层全连接。input层和output层之间通过一个10 * 3072的参数矩阵W作为边权连接起来。卷积层和全连接层最大的区别在于：卷积层可以保留空间结构。卷积层不会把输入图片拉伸成一维向量，而是会保留其原有的空间结构信息。最后是一个关于卷积层的总结，注意卷积核的数量通常选为2的幂次形式：[(Conv
2022-06-19 17:36:04
457
原创 CS231n笔记三：神经网络之反向传播
在这个计算图中，节点表示一种计算操作。下图就是损失函数L的计算图。即输入x和W，首先将x和W进行矩阵乘，得到分数s；随后计算hinge loss和正则化R(W)，之后将二者相加得到最终的L。应用这种计算图的框架，我们可以求出任意复杂函数的解析梯度。定义反向传播是链式法则的递归调用。具体的计算过程如下：1、从最后开始往前算，即首先计算df/df，显然为1；2、之后计算df/dz，因为df/dz = q，而q=x+y=3，故df/dz = 3；3、同理，可以计算得df/dq = -4；4、之后
2022-06-18 17:12:42
351
1原创 CS231n笔记一：图像分类
a data-driven approach:1、collect a dataset of images and labels2、利用机器学习to train a classifier3、evaluate the classifier on new images有两个函数：1、训练函数：输入图片和标签，输出是一个模型2、预测函数：输入一个模型，make predictions for the images一个简单的数据驱动的例子是找到所有图片里与测试图片最相近的那一个：要找到最相近的图片，要
2022-04-11 20:20:23
208
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人