Convolution Neural Network (CNN) 原理与实现

最新推荐文章于 2023-07-07 21:52:56 发布
最新推荐文章于 2023-07-07 21:52:56 发布
阅读量350 收藏
点赞数
分类专栏： 神经网络


  本文结合Deep learning的一个应用，Convolution Neural Network 进行一些基本应用，参考Lecun的Document 0.1进行部分拓展，与结果展示（inPython）。

分为以下几部分：

1. Convolution（卷积）

2. Pooling（降采样过程）

3. CNN结构

4.  跑实验

下面分别介绍。


PS：本篇blog为ese机器学习短期班参考资料（20140516课程），本文只是简要讲最naive最simple的思想，重在实践部分，原理课上详述。

1. Convolution（卷积）

类似于高斯卷积，对imagebatch中的所有image进行卷积。对于一张图，其所有feature map用一个filter卷成一张feature map。 如下面的代码，对一个imagebatch（含两张图）进行操作，每个图初始有3张feature map(R,G,B), 用两个9*9的filter进行卷积，结果是，每张图得到两个feature map。

卷积操作由theano的conv.conv2d实现，这里我们用随机参数W，b。结果有点像edge detector是不是？

Code: （详见注释）


[python]   view plain  copy
  在CODE上查看代码片 派生到我的代码片
  1. # -*- coding: utf-8 -*-  
  2. """ 
  3. Created on Sat May 10 18:55:26 2014 
  4.  
  5. @author: rachel 
  6.  
  7. Function: convolution option of two pictures with same size (width,height) 
  8. input: 3 feature maps (3 channels <RGB> of a picture) 
  9. convolution: two 9*9 convolutional filters 
  10. """  
  11.   
  12. from theano.tensor.nnet import conv  
  13. import theano.tensor as T  
  14. import numpy, theano  
  15.   
  16.   
  17. rng = numpy.random.RandomState(23455)  
  18.   
  19. # symbol variable  
  20. input = T.tensor4(name = 'input')  
  21.   
  22. # initial weights  
  23. w_shape = (2,3,9,9) #2 convolutional filters, 3 channels, filter shape: 9*9  
  24. w_bound = numpy.sqrt(3*9*9)  
  25. W = theano.shared(numpy.asarray(rng.uniform(low = -1.0/w_bound, high = 1.0/w_bound,size = w_shape),  
  26.                                 dtype = input.dtype),name = 'W')  
  27.   
  28. b_shape = (2,)  
  29. b = theano.shared(numpy.asarray(rng.uniform(low = -.5, high = .5, size = b_shape),  
  30.                                 dtype = input.dtype),name = 'b')  
  31.                                   
  32. conv_out = conv.conv2d(input,W)  
  33.   
  34. #T.TensorVariable.dimshuffle() can reshape or broadcast (add dimension)  
  35. #dimshuffle(self,*pattern)  
  36. # >>>b1 = b.dimshuffle('x',0,'x','x')  
  37. # >>>b1.shape.eval()  
  38. # array([1,2,1,1])  
  39. output = T.nnet.sigmoid(conv_out + b.dimshuffle('x',0,'x','x'))  
  40. f = theano.function([input],output)  
  41.   
  42.   
  43.   
  44.   
  45.   
  46. # demo  
  47. import pylab  
  48. from PIL import Image  
  49. #minibatch_img = T.tensor4(name = 'minibatch_img')  
  50.   
  51. #-------------img1---------------  
  52. img1 = Image.open(open('//home//rachel//Documents//ZJU_Projects//DL//Dataset//rachel.jpg'))  
  53. width1,height1 = img1.size  
  54. img1 = numpy.asarray(img1, dtype = 'float32')/256. # (height, width, 3)  
  55.   
  56. # put image in 4D tensor of shape (1,3,height,width)  
  57. img1_rgb = img1.swapaxes(0,2).swapaxes(1,2).reshape(1,3,height1,width1) #(3,height,width)  
  58.   
  59.   
  60. #-------------img2---------------  
  61. img2 = Image.open(open('//home//rachel//Documents//ZJU_Projects//DL//Dataset//rachel1.jpg'))  
  62. width2,height2 = img2.size  
  63. img2 = numpy.asarray(img2,dtype = 'float32')/256.  
  64. img2_rgb = img2.swapaxes(0,2).swapaxes(1,2).reshape(1,3,height2,width2) #(3,height,width)  
  65.   
  66.   
  67.   
  68. #minibatch_img = T.join(0,img1_rgb,img2_rgb)  
  69. minibatch_img = numpy.concatenate((img1_rgb,img2_rgb),axis = 0)  
  70. filtered_img = f(minibatch_img)  
  71.   
  72.   
  73. # plot original image and two convoluted results  
  74. pylab.subplot(2,3,1);pylab.axis('off');  
  75. pylab.imshow(img1)  
  76.   
  77. pylab.subplot(2,3,4);pylab.axis('off');  
  78. pylab.imshow(img2)  
  79.   
  80. pylab.gray()  
  81. pylab.subplot(2,3,2); pylab.axis("off")  
  82. pylab.imshow(filtered_img[0,0,:,:]) #0:minibatch_index; 0:1-st filter  
  83.   
  84. pylab.subplot(2,3,3); pylab.axis("off")  
  85. pylab.imshow(filtered_img[0,1,:,:]) #0:minibatch_index; 1:1-st filter  
  86.   
  87. pylab.subplot(2,3,5); pylab.axis("off")  
  88. pylab.imshow(filtered_img[1,0,:,:]) #0:minibatch_index; 0:1-st filter  
  89.   
  90. pylab.subplot(2,3,6); pylab.axis("off")  
  91. pylab.imshow(filtered_img[1,1,:,:]) #0:minibatch_index; 1:1-st filter  
  92. pylab.show()  
昵称每次都被抢
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
深度学习笔记（2）——卷积神经网络（Convolutional Neural Network）
迷川浩浩的博客
04-05 1万+
卷积神经网络（Convolutional Neural Network, CNN）是深度学习转折的标志性成果，在深度学习的早期，以Hinton等为代表的学者们研究主要集中在RBM（限制波尔兹曼机），AE（自编码器）等传统的全连接神经网络框架上，这个时期虽然出现了很多无监督、优化函数改进之类的研究，使得传统的神经网络层数有所增加，但是终究没有脱离全连接神经网络框架的约束，以至于最终网络可训练的参数量还
Convolution Neural Network (CNN)
05-15
PS：本篇blog为ese机器学习短期班参考资料（20140516课程），本文只是简要讲最naive最simple的思想，重在实践部分，原理课上详述。
【深度学习】卷积神经网络（Convolutional Neural Network）
无敌三脚猫的专栏
01-06 2691
卷积神经网络简介（Convolutional Neural Networks，简称CNN）    卷积神经网络是近年发展起来，并引起广泛重视的一种高效识别方法。20世纪60年代，Hubel和Wiesel在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性，继而提出了卷积神经网络（Convolutional Neural Networks-简称
Convolution Neural Network
klaas的博客
07-03 1818
Convolution neural network has gain its popularity recently due to its power with computer vision. Although CNNs have been used as early as the nineties to solve character recognition tasks (Le Cun et al., 1997
convolution neural network
weixin_43698821的博客
02-26 262
https://skymind.ai/wiki/convolutional-network https://www.coursera.org/learn/convolutional-neural-networks
Convolutional Neural network（CNN）
Danielzph的博客
04-21 277
Convolutional Neural network(part 1) 李宏毅视频学习笔记 1. Why CNN for Image？ CNN V.s. DNN 我们当然可以用一般的neural network来做影像处理，不一定要用CNN，比如说，你想要做图像的分类，那你就去train一个neural network，它的input是一张图片，你就用里面的pixel来表示这张图片，也就是一个很长很长的vector，而output则是由图像类别组成的vector，假设你有1000个类别，那output就有
convolution_neural_network
mmm000mm的博客
03-30 415
# -*- coding:utf-8 -*- import argparse import datetime import sys import tensorflow as tfimport input_dataIMAGE_WIDTH = 60 IMAGE_HEIGHT = 100 IMAGE_SIZE = IMAGE_WIDTH * IMAGE_HEIGHT LABEL_SIZE = 10 #
深度学习：卷积神经网络（convolution neural network）
weixin_30512089的博客
07-22 579
（一）卷积神经网络 卷积神经网络最早是由Lecun在1998年提出的。 卷积神经网络通畅使用的三个基本概念为： 1.局部视觉域； 2.权值共享； 3.池化操作。 在卷积神经网络中，局部接受域表明输入图像与隐藏神经元的连接方式。在图像处理操作中采用局部视觉域的原因是：图像中的像素并不是孤立存在的，每一个像素与它周围的像素都有着相互关联，而并不是与整幅图像的像素点相关，因此采用局部视觉接...
深度学习—卷积神经网络（Convolutional Neural Networks）
qq_28505705的博客
11-12 7682
卷积神经网络（Convolutional Neural Networks） 卷积神经网络（convolutional neural network, CNN），是一种专门用来处理具有类似网格结构的数据的神经网络。例如时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格）和图像数据（可以看作是二维的像素网格）。卷积网络在诸多应用领域都表现优异。“卷积神经网络’’ 一词表明该网络使用了卷积（c...
【机器学习】卷积神经网络 CNN （Convolutional Neural Network）
weixin_45032529的博客
05-13 2582
卷积神经网络（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网络由一个或多个卷积层和顶端的全连通层（对应经典的神经网络）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网络能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网络在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网络，.
卷积神经网络 Convolutional Neural Network (CNN)
浮光掠影
01-08 1313
I am really depressed and frustrated these days. Hopefully, I can fix these things,,,,
【深度学习 理论】Convolutional Neural Network
一定要站在自己热爱的生活里闪闪发光
08-20 3万+
目录 0.Instruction 1.Convolution 2.Max Pooling 3.Flatten 4.CNN in Keras 5.What does CNN learn? （1）Filter做什么？ （2）neuron做什么？ （3）CNN输出是什么？ 0.Instruction CNN是处理图像的的network。 做图像处理，常规的Fully connected network也可以做。但是会有特别多的参数（例如：100*100的iam...
卷积神经网络（convolutional neural network, CNN）
热门推荐
qq_41536160的博客
05-28 6万+
基本定义 卷积神经网络(convolutional neural network, CNN)，是一类包含卷积计算且具有深度结构的前馈神经网络。卷积神经网络是受生物学上感受野（Receptive Field）的机制而提出的。卷积神经网络专门用来处理具有类似网格结构的数据的神经网络。例如，时间序列数据（可以认为是在时间轴上有规律地采样形成的一维网格） 和图像数据（可以看作是二维的像素网格）。 1.卷积层（convolutional layer） 作用：特征提取 卷积层内部包含多个卷积核，组成卷积核的每个元素都
Convolutional Neural Network(卷积神经网络超详细解释)
ygp12345的博客
10-03 6657
Why CNN for Image? 我们可以使用fully connect神经网络去进行图像识别，但是所需要的参数太多了！！我们要使用CNN(卷积神经网络)来简化。 一个神经元不必接收整张图的特征，比如说我有一个判断鸟嘴的神经元，我只需如下图所示，将鸟嘴那一部分传给神经元。 相同的pattern在不同区域时，我这个神经元就可以使用相同的参数来学习不同位置的pattern。 将图像缩小也是减少特征值或参数的方法，如下图，subsampling后还是能分辨出是鸟。 Convolutional Neur
卷积神经网络（Convolutional Neural Network) 简介
chaunceyliu30的博客
11-05 991
卷积神经网络与普通神经网络有哪些不同 对于图像类的数据来说，使用全连接的普通神经网络其需要的权重数量会显著受输入的图像大小影响。举例说明，一个128x128的彩色图片其输入值的维度为128x128x3，假设隐藏层有十个神经元，其需要的变量数就为128x128x3x10+10=491530个，如果使用更多神经元和更多隐藏层，变量的维度很快就会爆炸。而使用过多的自由度（Degree of freedom）会导致过拟合，但这还只是全连接神经网络处理图像数据的其中一个问题。试想如果使用全连接神经网络，每个像素对应为
卷积神经网络 Convolutional Neural Network ｜ CNN
最新发布
JasonH2021的博客
07-07 2万+
介绍了卷积神经网络的基本思想，应用场景，优缺点，建模过程中的注意事项，研究课题，实现的类库方法和代码案例等
卷积神经网络(Convolutional Neural Network，CNN)
abc1234abcdefg的博客
05-05 4048
简单介绍卷积神经网络
The conventional convolution neural network (CNN) adopts softmax function as classifier, which has problems of overflow and underflow. This paper proposes a rolling bearing intelligent fault diagnosis method based on multi-scale convolution neural network, bi-directional long short term memory and support vector machine (MCNN-BiLSTM-SVM). The wavelet threshold denoising algorithm is adopted for signal preprocessing. The multi-scale convolution neural network (MCNN) and the bidirectional long short-term memory network (BiLSTM) are combined as the feature extractor to improve feature extraction capability. The support vector machine (SVM) is adopted as the classifier to improve classification performance. Transfer learning is used in MCNN-BiLSTM-SVM for different conditions. According to the experiments, the proposed MCNN-BiLSTM-SVM fault diagnosis method has higher diagnostic accuracy, stronger anti-noise performance and better stability under different conditions than other diagnostic methods.给出以上内容审稿意见
06-09
本文提出了一种基于多尺度卷积神经网络、双向长短时记忆网络和支持向量机的轴承智能故障诊断方法（MCNN-BiLSTM-SVM）。该方法采用小波阈值去噪算法进行信号预处理，将多尺度卷积神经网络（MCNN）和双向长短时记忆...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值