“逛丢一只鞋”的博客

6 Cifar-10分类Cifar 是加拿大政府牵头投资的一个先进科学项目研究所。Hinton、Bengio和他的学生在2004年拿到了 Cifar 投资的少量资金，建立了神经计算和自适应感知项目。这个项目结集了不少计算机科学家、生物学家、电气工程师、神经科学家、物理学家、心理学家，加速推动了 Deep Learning 的进程。从这个阵容来看，DL 已经和 ML 系的数据挖掘分的很远了。Deep Learning 强调的是自适应感知和人工智能，是计算机与神经科学交叉；Data Mining 强调的是高速

5 Fashion-MNIST分类5.1 提出问题MNIST手写识别数据集，对卷积神经网络来说已经太简单了，于是科学家们增加了图片的复杂度，用10种物品代替了10个数字，图18-36是它们的部分样本。图18-36 部分样本图展示每3行是一类样本，按样本类别（从0开始计数）分行显示：T-Shirt，T恤衫（1-3行）Trouser，裤子（4-6行）Pullover，套头衫（7-9行）Dress，连衣裙（10-12行）Coat，外套（13-15行）Sandal，凉鞋（16-18行）Sh

4 解决MNIST分类问题4.1 模型搭建在12.1中，我们用一个三层的神经网络解决MNIST问题，并得到了97.49%的准确率。当时使用的模型如图18-31。图18-31 前馈神经网络模型解决MNIST问题这一节中，我们将学习如何使用卷积网络来解决MNIST问题。首先搭建模型如图18-32。图18-32 卷积神经网络模型解决MNIST问题表18-5展示了模型中各层的功能和参数。表18-5 模型中各层的功能和参数Layer参数输入输出参数个数卷积层8x5x5,

3 实现几何图形及颜色分类3.1 提出问题在前两节我们学习了如何按颜色分类和按形状分类几何图形，现在我们自然地想到如果把颜色和图形结合起来，卷积神经网络能不能正确分类呢？请看样本数据，如图18-26。图18-26 样本数据一共有3种形状及3种颜色，如表18-4所示。表18-4 样本数据分类和数量红色蓝色绿色圆形600:100600:100600:100矩形600:100600:100600:100三角形600:100600:100600:

2 实现几何图形分类2.1 提出问题有一种儿童玩具：在一个平板上面有三种形状的洞：圆形、三角形、正方形，让小朋友们拿着这三种形状的积木从对应的洞中穿过那个平板就算成功。如果形状不对是穿不过去的，比如一个圆形的积木无法穿过一个方形的洞。这就要求儿童先学会识别几何形状，学会匹配，然后手眼脑配合才能成功。人工智能现在还是初期阶段，它能否达到3岁儿童的能力呢？先看一下图18-21所示的样本数据。图18-21 样本数据一共有5种形状：圆形、菱形、直线、矩形、三角形。上图中列出了一些样本，由于图片尺寸是28

1 实现颜色分类1.1 提出问题大家知道卷积神经网络可以在图像分类上发挥作用，而一般的图像都是彩色的，也就是说卷积神经网络应该可以判别颜色的。这一节中我们来测试一下颜色分类问题，也就是说，不管几何图形是什么样子的，只针对颜色进行分类。先看一下样本数据，如图18-14。图18-14 颜色分类样本数据图在样本数据中，一共有6种颜色，分别是：红色 red绿色 green蓝色 blue青色（蓝+绿） cyan黄色（红+绿） yellow粉色（红+蓝） pink而这6种颜色是分布在5种形

卷积神经网络应用0 经典的卷积神经网络模型卷积神经网络是现在深度学习领域中最有用的网络类型，尤其在计算机视觉领域更是一枝独秀。卷积神经网络从90年代的LeNet开始，沉寂了10年，也孵化了10年，直到2012年AlexNet开始再次崛起，后续的ZF Net、VGG、GoogLeNet、ResNet、DenseNet，网络越来越深，架构越来越复杂，解决反向传播时梯度消失的方法也越来越巧妙。下面让我们一起学习一下这些经典的网络模型。[1,2]^{[1,2]}[1,2]0.1 LeNet (1998)图1

5 池化层5.1 常用池化方法池化 pooling，又称为下采样，downstream sampling or sub-sampling。池化方法分为两种，一种是最大值池化 Max Pooling，一种是平均值池化 Mean/Average Pooling。如图17-32所示。图17-32 池化最大值池化，是取当前池化视野中所有元素的最大值，输出到下一层特征图中。平均值池化，是取当前池化视野中所有元素的平均值，输出到下一层特征图中。其目的是：扩大视野：就如同先从近处看一张图片，然后离

4 卷积反向传播代码实现4.1 方法1完全按照17.3中的讲解来实现反向传播，但是由于有17.2中关于numba帮助，我们在实现代码时，可以考虑把一些模块化的计算放到独立的函数中，用numba在运行时编译加速。 def backward_numba(self, delta_in, flag): # 如果正向计算中的stride不是1，转换成是1的等价误差数组 dz_stride_1 = expand_delta_map(delta_in, ...)

3 卷积层的训练同全连接层一样，卷积层的训练也需要从上一层回传的误差矩阵，然后计算：本层的权重矩阵的误差项本层的需要回传到下一层的误差矩阵在下面的描述中，我们假设已经得到了从上一层回传的误差矩阵，并且已经经过了激活函数的反向传导。3.1 计算反向传播的梯度矩阵正向公式：Z=W∗A+b(0)Z = W*A+b \tag{0}Z=W∗A+b(0)其中，W是卷积核，*表示卷积（互相关）计算，A为当前层的输入项，b是偏移（未在图中画出），Z为当前层的输出项，但尚未经过激活函数处理。我们举一个具

2 卷积前向计算代码实现2.1 卷积核的实现卷积核，实际上和全连接层一样，是权重矩阵加偏移向量的组合，区别在于全连接层中的权重矩阵是二维的，偏移矩阵是列向量，而卷积核的权重矩阵是四维的，偏移矩阵是也是列向量。class ConvWeightsBias(WeightsBias_2_1): def __init__(self, output_c, input_c, filter_h, filter_w, init_method, optimizer_name, eta): self

文章目录卷积的前向计算卷积的数学定义连续定义离散定义一维卷积实例单入单出的二维卷积单入多出的升维卷积多入单出的降维卷积多入多出的同维卷积卷积编程模型步长 stride填充 padding输出结果卷积的前向计算卷积的数学定义连续定义h(x)=(f∗g)(x)=∫−∞∞f(t)g(x−t)dt(1)h(x)=(f*g)(x) = \int_{-\infty}^{\infty} f(t)g(x-t)dt \tag{1}h(x)=(f∗g)(x)=∫−∞∞​f(t)g(x−t)dt(1)卷积与傅里叶变换有

文章目录卷积与卷积神经网络池化层与全连接层卷积与卷积神经网络卷积神经网络的结构基本如图所示卷积层，池化层（或降采样层，下采样层），卷积层，池化层，最后把池化的结果拉平成一个长向量，传入到全连接层，最后输出结果。虽然后面有很多新的结构，但是基本框架仍然没有变，卷积、池化、卷积、池化、全连接、输出卷积方法可以各种各样，信息传递的流或者路径也可以各不相同。卷积层提取图像的底层特征，池化层用来防止过拟合并且将数据维度减小，全连接层用于汇总之前得到的图像底层特征。卷积过程就不多说了，之前文章里详

文章目录CNN Basic一维卷积二维卷积卷积向前计算卷积核卷积-激活-池化三个不变性升维 && 降维步长 && 填充池化层的前向计算与反向传播神经网络的实验人工智能和计算机视觉辅助肺炎医疗影像诊断Keras框架——手机图片图像分类CNN Basic卷积神经网络——基本原理与算法图像分类目标检测图像分割第一张图就是图像分割，把车识别成蓝色，人行道识别成粉色，人识别成红色行为识别越深的地方越发红，离得近的地方发绿深度估计两个人骑在自行车上，试别出图像的内

文章目录回归与分类——基于神经网络的原理与实现回归——Regression线性回归非线性回归Decision Tree数据清洗分类-Classification二分类多分类非线性分类异或二分类非线性多分类AI机器学习MACHINR LEARNING深度学习DEEP LEARNING神经网络基础-9步学习法基础知识线性回归线性分类非线性回归非线性分类模型推理与部署深度神经网络卷积神经网络循环神经网络回归与分类——基于神经网络的原理与实现神经网络回归——Regression

通过一系列数据的挖掘来判断病人有没有心脏病。