青星大学

目录7.1简介7.2单个神经元建模7.2.1生物学动机与联系7.2.2单神经元作为线性分类器7.2.3常用激活函数7.3神经网络体系结构7.3.1分层组织7.3.2前馈计算实例7.3.3代表权7.3.4设置层数及其大小7.4总结7.5参考文献7.1简介在不诉诸大脑的类比的情况下，依然是可以对神经网络算法进行介绍的。在线性分类的部分中，我们使用...

目录12.1 可视化卷积神经网络学习到的东西12.1.1可视化激活和第一层权重12.1.2 找到对神经元有最大激活的图像12.1.3用 t-SNE 嵌入代码12.1.4遮挡部分图像12.1.5可视化数据梯度及其他文献12.1.6基于CNN代码重构原始图像12.1.7保存了多少空间信息？12.1.8根据图像属性绘制性能12.2 玩弄ConvNet...

层、空间布局、层模式、层大小模式、AlexNet/ZFNet/VGGNet 案例研究、计算考虑卷积神经网络 (CNNs / ConvNets)卷积神经网络与前一章的神经网络非常相似：它们是由具有可学习的权值和偏置的神经元组成的。每个神经元接收一些输入，执行点积，跟随一个非线性计算(可选项)。整个网络仍然表示一个可微的得分函数：从一端的原始图像像素到另一个的分数。并且它们在最后（完全连接）层...

目录10.1 生成数据10.2 训练Softmax线性分类器10.2.1初始化参数10.2.2计算分类得分10.2.3计算损失10.2.4用反向传播算法计算解析梯度10.2.5执行参数更新10.2.6 组装到一起：训练一个Softmax分类器10.3 训练一个神经网络10.4 总结在这一节中，我们将用模拟数据集(2个特征)，实现一个完整的2层神经...

目录9.1梯度检验9.2清醒检查9.3照看学习过程9.3.1损失函数9.3.2 训练/评估精度9.3.3权重：更新率9.3.4每一层的激活/梯度分布9.4.5可视化9.4参数更新9.4.1一阶（SGD），动量，内斯特罗夫动量9.4.2学习速率的退火9.4.3二阶方法9.4.4每个参数自适应学习率(Adagrad, RMSP...

6、反向传播内容列表：6.1简介 6.2简单表达式和理解梯度 6.3复合表达式，链式法则，反向传播 6.4直观理解反向传播 6.5模块：Sigmoid例子 6.6反向传播实践：分段计算 6.7回传流中的模式 6.8用户向量化操作的梯度 6.9小结6.1简介动机。在本节中，我们将直观地理解反向传播，这是一种通过递归应用链规则来计算函数梯度的方法。理解这一过程及其微妙之...

3、k - 最近邻分类器注意到了吗，前面我们做一个预测时，只使用最近的图像的标签。事实上，通过使用所谓的k-最近邻分类器可以做得更好。这个想法很简单：在训练集中，不是找到最接近的一个图像，而是找到最近的k个图像，并用这k个图像占多数的标签作为待预测图像的标签。特别地，当k＝1时，就是前面的最近邻分类器。K取较高值具有平滑效果，使得分类器更能抵抗异常值：最近邻居和5近邻分类器之间的差异的...

2、最近邻分类器接下来我们来开发一个图像分类器：最近邻分类器。这个分类器在实践中很少用，但是可以让我们对数据驱动的图像分类方法有一个概念性的理解。图像分类样例数据集：CIFAR-10，这是一个有名的图像分类数据集。包含6万张32X32像素的小图，每张图片都标记为10个分类中的某一个(比如airplane, automobile, bird，等等)。这6万张图片已经分为两组，训练数据5万张，...

5、优化方法：随机梯度下降法5.1 介绍在上衣章，我们介绍了图像分类任务中的两个关键部分：一个参数化的评分函数将原始图像像素映射到类得分（例如线性函数） 一个损失函数，它测量预测的分类得分与实际的分类之间的一致程度，来量化一组特定参数集的质量。我们看到有很多方法和版本（例如SoftMax、SVM）。回顾一下，线性评分函数是这样的：f（Xi，W）＝WXi，SVM损失的公式为：...

目录8.1 设置数据及模型8.1.1 数据预处理8.1.2 权重初始化8.1.3 批量标准化8.1.4 正则化(L2/L1/Maxnorm/Dropout)8.2 损失函数8.3 总结8.1 设置数据及模型在上一章中，我们介绍了只有一个神经元的模型，它由一个点积，再跟一个非线性计算组成，以及将神经元排列成层的神经网络。这些选择定义了评分函数的新形式，扩展了我们在...

1、数据驱动的图像分类方法目标：给一张图片贴一个标签。当然可用的标签是固定的，比如｛君子，小人｝，或者｛猫，狗，兔子｝，等等，随便给你一张图片，需要从这些标签中选一个用来表示这张图。这是计算机视觉里的核心问题。虽然很朴素，但是应用却相当广泛。而且，很多其他类似的计算机视觉任务，比如目标检测，图片分割，都可以简化为图像分类问题。举例：下面这张图是什么动物呢？某一个图像分类模型给出了属于{c...

4、线性分类上一课最我们介绍了图像分类的问题，任务是从一个固定的类别集合中选一个分配给待识别的图像。最后，我们描述了k-近邻（KNN）分类器，它通过将待标记的图像与训练集中已经标记好的图像进行比较来标记图像。KNN有许多缺点：分类器必须记住所有的训练数据，并将其存储起来，以备将来与测试数据进行比较。这是空间低效的，因为数据集的大小可能是千兆字节。 分类测试图像是昂贵的，因为它需要与所有训...

13.1 传承学习在实践中，很少有人从头开始训练整个卷积网络（使用随机初始化），因为具有足够大小的数据集是相对罕见的。相反，通常要在非常大的数据集（例如，ImageNet，它包含120万幅具有1000个类别的图像）上预处理ConvNet，然后使用ConvNet作为初始化或固定特征提取器，用于感兴趣的任务。三个主要的转移学习情景如下：将 ConvNet 作为特征提取器。取一个在ImageNe...