Convolution Neural Network (CNN)

最新推荐文章于 2023-07-07 21:52:56 发布
最新推荐文章于 2023-07-07 21:52:56 发布
阅读量1.5k 收藏
点赞数 1
文章标签： cnn 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43691762/article/details/123130086
版权
这篇博客探讨了使用卷积神经网络（CNN）进行图像分类时如何通过调整网络结构和使用ReLU激活函数、Dropout正则化以及Ensembles方法来提高准确率。实验表明，增加网络深度、使用ReLU和Dropout能有效防止过拟合，扩大训练数据并应用Ensembles策略进一步提升了模型的性能，最终达到99.60%的测试准确率。
摘要由CSDN通过智能技术生成

CNN, gpu, deep network, dropout, ensembles

输入层: 图像像素值

输出层: 0-9

CNN结构很不一样, 输入是一个二维的神经元 (28x28):

保持二维输入（并不像从前转为一维向量）28*28

定义一个n*n（5*5）小部分成为local recepetive fields

小方块连接起来25神经元与下一个神经元相连接

 

local receptives

构建另外一个神经元， 向右移动一个单元，构建下一层，第一个隐藏层比第一个输入小。

stride：每次移动多少。（每次移动想读多少）

共享权重与偏向；每个activation*w

加权求和共享二十五个权重 

从输入到输出，映射方法转化，第一个隐藏层得到三个层。 

 pooling运算

featrue map是一个模子

减少尺寸24*24，2*2最大值向右移动，长和宽缩小一倍

信息浓缩

 

 

取5*5（25个权重）取b，用不同的feature24*24*24 

 通过某一个初始化权重b，对输入层更新并且得到新的mix。有20个24*24

pooling进一步浓缩图像信息，对于24*24变为2*2的map中每四个像素求最大值，映射到一个新的矩阵中。对于图像来讲图像的相对位置比较重要。

加一百个神经元，和十个神经元两两相连。

 import network3
>>> from network3 import Network
>>> from network3 import ConvPoolLayer, FullyConnectedLayer, SoftmaxLayer
>>> training_data, validation_data, test_data = network3.load_data_shared()
>>> mini_batch_size = 10
>>> net = Network([
        FullyConnectedLayer(n_in=784, n_out=100),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
            validation_data, test_data)

结果: 97.8 accuracy  (上节课98.04%
这次: 没有regularization, 上次有
这次: softmax 上次: sigmoid + cross-entropy


net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2)),
        FullyConnectedLayer(n_in=20*12*12, n_out=100),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
            validation_data, test_data) 

准确率: 98.78 比上次有显著提高

 

再加入一层convolution (共两层):

>>> net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2)),
        ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
                      filter_shape=(40, 20, 5, 5), 
                      poolsize=(2, 2)),
        FullyConnectedLayer(n_in=40*4*4, n_out=100),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(training_data, 60, mini_batch_size, 0.1, 
            validation_data, test_data)        

准确率: 99.06% (再一次刷新)

用Rectified Linear Units代替sigmoid:
f(z) = max(0, z)

#不同学习率变化特别大的变化。

 net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
                      filter_shape=(40, 20, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(training_data, 60, mini_batch_size, 0.03, 
            validation_data, test_data, lmbda=0.1)

准确率: 99.23 比之前用sigmoid函数的99.06%稍有提高

库大训练集: 每个图像向上,下,左,右移动一个像素
总训练集: 50,000 * 5 = 250,000


$ python expand_mnist.py


expanded_training_data, _, _ = network3.load_data_shared(
        "../data/mnist_expanded.pkl.gz")
>>> net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
                      filter_shape=(40, 20, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03, 
            validation_data, test_data, lmbda=0.1)

加入一个100个神经元的隐藏层在fully-connected层:

>>> net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
                      filter_shape=(40, 20, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        FullyConnectedLayer(n_in=40*4*4, n_out=100, activation_fn=ReLU),
        FullyConnectedLayer(n_in=100, n_out=100, activation_fn=ReLU),
        SoftmaxLayer(n_in=100, n_out=10)], mini_batch_size)
>>> net.SGD(expanded_training_data, 60, mini_batch_size, 0.03, 
            validation_data, test_data, lmbda=0.1)


结果: 99.43%, 并没有大的提高

有可能overfit

加上dropout到最后一个fully-connected层:

>>> expanded_training_data, _, _ = network3.load_data_shared(
        "../data/mnist_expanded.pkl.gz")
>>> net = Network([
        ConvPoolLayer(image_shape=(mini_batch_size, 1, 28, 28), 
                      filter_shape=(20, 1, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        ConvPoolLayer(image_shape=(mini_batch_size, 20, 12, 12), 
                      filter_shape=(40, 20, 5, 5), 
                      poolsize=(2, 2), 
                      activation_fn=ReLU),
        FullyConnectedLayer(
            n_in=40*4*4, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
        FullyConnectedLayer(
            n_in=1000, n_out=1000, activation_fn=ReLU, p_dropout=0.5),
        SoftmaxLayer(n_in=1000, n_out=10, p_dropout=0.5)], 
        mini_batch_size)
>>> net.SGD(expanded_training_data, 40, mini_batch_size, 0.03, 
            validation_data, test_data)


结果: 99.60% 显著提高

epochs: 减少到了40
隐藏层有 1000 个神经元

Ensemble of network: 训练多个神经网络, 投票决定结果, 有时会提高

为何只对最后一层用dropout?

CNN本身的convolution层对于overfitting有防止作用: 共享的权重造成convolution filter强迫对于整个图像进行学习

为什么可以克服深度学习里面的一些困难?

用CNN大大减少了参数数量

用dropout减少了overfitting

用Rectified Linear Units代替了sigmoid, 避免了overfitting, 不同层学习率差别大的问题

用GPU计算更快, 每次更新较少, 但是可以训练很多次

目前的深度神经网络有多深? (多少层)?

最多有20多层

如何实现cnn

xiao咸鱼
关注
卷积神经网络（convolutional neural network, CNN）
qq_41536160的博客
05-28 6万+
基本定义 卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。 1.卷积层（convolutional layer） 作用：特征提取 卷积层内部包含多个卷积核，组成卷积核的每个元素都
深度学习—卷积神经网络（Convolutional Neural Networks）
qq_28505705的博客
11-12 7730
卷积神经网络（Convolutional Neural Networks） 卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格）和图像数据（可以看作是二维的像素网格）。卷积网络在诸多应用领域都表现优异。“卷积神经网络’’ 一词表明该网络使用了卷积（c...
卷积神经网络 Convolutional Neural Network ｜ CNN
最新发布
JasonH2021的博客
07-07 2万+
介绍了卷积神经网络的基本思想，应用场景，优缺点，建模过程中的注意事项，研究课题，实现的类库方法和代码案例等
深度学习：卷积神经网络（convolution neural network）
weixin_30512089的博客
07-22 593
（一）卷积神经网络 卷积神经网络最早是由Lecun在1998年提出的。 卷积神经网络通畅使用的三个基本概念为： 1.局部视觉域； 2.权值共享； 3.池化操作。 在卷积神经网络中，局部接受域表明输入图像与隐藏神经元的连接方式。在图像处理操作中采用局部视觉域的原因是：图像中的像素并不是孤立存在的，每一个像素与它周围的像素都有着相互关联，而并不是与整幅图像的像素点相关，因此采用局部视觉接...
【深度学习 理论】Convolutional Neural Network
一定要站在自己热爱的生活里闪闪发光
08-20 3万+
目录 0.Instruction 1.Convolution 2.Max Pooling 3.Flatten 4.CNN in Keras 5.What does CNN learn? （1）Filter做什么？ （2）neuron做什么？ （3）CNN输出是什么？ 0.Instruction CNN是处理图像的的network。 做图像处理，常规的Fully connected network也可以做。但是会有特别多的参数（例如：100*100的iam...
gated recurrent convolution neural network for ocr
11-29
但随着深度学习技术的发展，卷积神经网络（Convolutional Neural Network，简称CNN）已经在许多计算机视觉任务中取得了巨大成功，成为了识别自然场景中文字的强大工具。 在这篇题为《Gated Recurrent Convolutional...
Deep convolution neural network
08-21
近年来，深度卷积神经网络（CNN）在计算机视觉领域展现了令人瞩目的性能。深度CNN的能力在于能够从大规模训练数据集中学习到特征表示，这使得它们在物体分类和检测任务上超越了传统的手工特征方法。然而，由于深度...
CNN.rar_CNN_convolution neural
07-14
convolution neural network工具箱中的代码
Weight-Adapted Convolution Neural Network for Facial Expression Recognition in Human-Robot Interaction
02-11
WACNN是一种改进型的卷积神经网络（Convolution Neural Network, CNN），它通过结合遗传算法（Genetic Algorithm, GA）来优化模型的权重，从而提高模型的性能。传统的CNN在训练过程中可能会陷入局部最优解，而WACNN...
Convolutional Neural Network(卷积神经网络超详细解释)
ygp12345的博客
10-03 6777
Why CNN for Image? 我们可以使用fully connect神经网络去进行图像识别，但是所需要的参数太多了！！我们要使用CNN(卷积神经网络)来简化。 一个神经元不必接收整张图的特征，比如说我有一个判断鸟嘴的神经元，我只需如下图所示，将鸟嘴那一部分传给神经元。 相同的pattern在不同区域时，我这个神经元就可以使用相同的参数来学习不同位置的pattern。 将图像缩小也是减少特征值或参数的方法，如下图，subsampling后还是能分辨出是鸟。 Convolutional Neur
Convolutional Neural network（CNN）
Danielzph的博客
04-21 296
Convolutional Neural network(part 1) 李宏毅视频学习笔记 1. Why CNN for Image？ CNN V.s. DNN 我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural network，它的input是一张图片，你就用里面的pixel来表示这张图片，也就是一个很长很长的vector，而output则是由图像类别组成的vector，假设你有1000个类别，那output就有
卷积神经网络 Convolutional Neural Network (CNN)
浮光掠影
01-08 1335
I am really depressed and frustrated these days. Hopefully, I can fix these things,,,,
Python:实现convolution neural network卷积神经网络算法(附完整源码)
希望我的博客，能帮上你解决学习中工作中所遇到的问题
08-02 436
Python:实现convolution neural network卷积神经网络算法(附完整源码)
Convolution Neural Network (CNN) 原理与实现
热门推荐
Rachel Zhang的专栏
05-15 10万+
本文结合Deep learning的一个应用，Convolution Neural Network 进行一些基本应用，参考Lecun的Document 0.1进行部分拓展，与结果展示（in python）。 分为以下几部分： 1. Convolution（卷积） 2. Pooling（降采样过程） 3. CNN结构 4. 跑实验 下面分别介绍
【机器学习】卷积神经网络 CNN （Convolutional Neural Network）
weixin_45032529的博客
05-13 2596
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，.
机器学习 卷积神经网络 Convolutional Neural Network(CNN)
weixin_51745630的博客
03-28 6130
CNN— 卷积神经网络 CNN专用在影像上的神经网络，目的是作影像辨识、影像分类，即通过输入的影像，输出影像中的内容。 对于CNN，有两种解释方法： 法一 如上图所示： 输入：image（假设大小固定为100x100，若非100x100的图片则需要rescale后再放入影像辨识系统中） 输出：y’（vector） 目标输出：y^ （每一个目标需要表示成one-hot vector，在向量中数值为1的维度对应所属目标，且维度长度决定现在的模型可辨识不...
卷积神经网络(Convolutional Neural Network，CNN)
abc1234abcdefg的博客
05-05 4078
简单介绍卷积神经网络
Convolution Neural Networks（卷积及其各种卷积）
nakaizura
10-22 7550
CNN原理，TF应用。受哺乳动物视觉系统的结构启发，人们引入了一个处理图片的强大模型结构，后来发展成了现代卷积网络的基础。所谓卷积引自数学中的卷积运算： S(t)=∫x(t−a)w(a)daS(t) = \int x(t-a)w(a) da 。它的意义在于，比如有一段时间内的股票或者其他的测量数据，显然时间离当下越近的数据与结果越相关，作用越大，所以在处理数据时可以采用一种局部加权平均的方法，这就叫卷积，其.....
The conventional convolution neural network (CNN) adopts softmax function as classifier, which has problems of overflow and underflow. This paper proposes a rolling bearing intelligent fault diagnosis method based on multi-scale convolution neural network, bi-directional long short term memory and support vector machine (MCNN-BiLSTM-SVM). The wavelet threshold denoising algorithm is adopted for signal preprocessing. The multi-scale convolution neural network (MCNN) and the bidirectional long short-term memory network (BiLSTM) are combined as the feature extractor to improve feature extraction capability. The support vector machine (SVM) is adopted as the classifier to improve classification performance. Transfer learning is used in MCNN-BiLSTM-SVM for different conditions. According to the experiments, the proposed MCNN-BiLSTM-SVM fault diagnosis method has higher diagnostic accuracy, stronger anti-noise performance and better stability under different conditions than other diagnostic methods.给出以上内容审稿意见
06-09
本文提出了一种基于多尺度卷积神经网络、双向长短时记忆网络和支持向量机的轴承智能故障诊断方法（MCNN-BiLSTM-SVM）。该方法采用小波阈值去噪算法进行信号预处理，将多尺度卷积神经网络（MCNN）和双向长短时记忆...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值