李宏毅2020ML——P17 CNN（Convolutional Neural network）

最新推荐文章于 2021-10-03 20:47:59 发布
最新推荐文章于 2021-10-03 20:47:59 发布
阅读量219 收藏
点赞数
分类专栏： 李宏毅2020ML 文章标签： 深度学习 机器学习 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44177594/article/details/114704600
版权

Convolutional Neural network

引入

CNN常常被用在影像处理上

为什么呢？

因为如果输入图片后，紧跟全连接层，那么参数过多。一开始要做一些“简化”，这就是CNN的引出。

CNN V.S. DNN

在下图中：
1.第一个layer的neuron，它就是最简单的classifier，它做的事情就是detect有没有绿色出现、有没有黄色出现、有没有斜的条纹出现等等

2.那第二个layer，它做的事情是detect更复杂的东西，根据第一个layer的output，它如果看到直线横线，就是窗框的一部分；如果看到棕色的直条纹就是木纹；看到斜条纹加灰色的，这个有可能是很多东西，比如说，轮胎的一部分等等

3.再根据第二个hidden layer的output，第三个hidden layer会做更复杂的事情，比如它可以知道说，当某一个neuron看到蜂巢，它就会被activate；当某一个neuron看到车子，它就会被activate；当某一个neuron看到人的上半身，它就会被activate等等
在这里插入图片描述
问题是：当我们直接用一般的fully connected的feedforward network来做图像处理的时候，往往会需要太多的参数

所以：CNN做的事情其实是，来简化这个neural network的架构，我们根据自己的知识和对图像处理的理解，一开始就把某些实际上用不到的参数给过滤掉

Why can we discard some parameters

reason1：Some patterns are much smaller than the whole image

在这里插入图片描述

reason2：The same patterns appear in different regions.

在这里插入图片描述

reason3：Subsampling the pixels will not change the object

在这里插入图片描述

The whole CNN structure

在这里插入图片描述
在这里插入图片描述

Convolution

Property1：只用看部分图案

在这里插入图片描述

Property2：可以出现在任何位置

在这里插入图片描述

Feature Map

在这里插入图片描述
对于彩色图片：
在这里插入图片描述

Convolution V.s. Fully connected

filter可以理解是特殊的“neuron”

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
CNN的本质，就是减少参数的过程

Max Pooling

作用是去subsampling
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Flatten

在这里插入图片描述
其他内容参考：链接: lhttps://blog.csdn.net/weixin_44406200/article/details/104392592?spm=1001.2014.3001.5501.

小葵向前冲
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【李宏毅2020 ML/DL】P17 Convolutional Neural Network
记录学习痕迹的公众号：Piper蛋窝
07-25 1243
讲解了关于卷积神经网络的部分：主要集中在卷积神经网络的合理性。
【李宏毅机器学习笔记】9、卷积神经网络（Convolutional Neural Network，CNN）
01-20
【李宏毅机器学习笔记】1、回归问题（Regression） 【李宏毅机器学习笔记】2、error产生自哪里？ 【李宏毅机器学习笔记】3、gradient ...【李宏毅机器学习笔记】9、Convolutional Neural Network（CNN） ——————
李宏毅机器学习作业3——Convolutional Neural Network
迷雾总会解
12-17 2762
本作业来源于李宏毅机器学习作业说明，详情可看???? Homework 3 - Convolutional Neural Network(友情提示，可能需要翻墙) 作业要求 作业要求： 在收集来的资料中均是食物的照片，共有11类，Bread, Dairy product, Dessert, Egg, Fried food, Meat, Noodles/Pasta, Rice, Seafood, Soup, and Vegetable/Fruit.我们要创建一个CNN，用来实现食物的分类。 我们可以借助
ML2021_Spring_HW03心得
丶夜未央丶的博客
07-25 286
ML2021_Spring_HW03心得torchvision.transform 学习 卷积神经网络课程链接 这个作业提了三个要求，从简单到难。 Easy: Build a simple convolutional neural network as the baseline. Medium: Design a better architecture or adopt different data augmentations to improve the performance. Utilize pro
李宏毅2020机器学习作业3——Convolutional Neural Network
科研鬼才的博客
04-05 5635
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载，提取码：zdth。请将所需资料下载解压，确保资料中有6个文件，并保存到自己的目录当中。 【博主的环境：Anaconda3+Jupyter Notebook，pyth...
动图+独家思维导图！让你秒懂李宏毅2020深度学习（四）—— CNN（Convolutional Neural network）
小哨的博客
03-02 1312
独家思维导图！让你秒懂李宏毅2020深度学习（四）—— CNN（Convolutional Neural network） 前三篇文章传送门： 独家思维导图！让你秒懂李宏毅2020机器学习（一）—— Regression回归 独家思维导图！让你秒懂李宏毅2020机器学习（二）—— Classification分类 独家思维导图！让你秒懂李宏毅2020深度学习（三）—— 深度学习基础（神经网络和反向传播部分） 文章目录独家思维导图！让你秒懂李宏毅2020深度学习（四）—— CNN（Convolutional
（2020李宏毅）机器学习-Convolutional Neural Network
顾道长生的知识库
10-03 283
Why CNN for Image 当我们直接用一般的fully connected的feedforward network来做图像处理的时候，往往会需要太多的参数 所以，CNN做的事情其实是，来简化这个neural network的架构，根据自己的知识和对图像处理的理解，一开始就把某些实际上用不到的参数给过滤掉 虽然CNN看起来，它的运作比较复杂，但事实上，它的模型比DNN还要更简单，就是用（先验知识）prior knowledge，去把原来fully connected的layer里面的一些参数.
2021李宏毅 机器学习 Convolutional Neural Network (CNN)
LY_123456_的博客
06-29 262
应用1：影像辨识 观察一 图像中是否出现一些重要的pattern，这种pattern代表重要物件（例如鸟嘴，鸟眼，鸟爪） Receptive Filed (感受野) 经典的安排方式：看所有的channel, 一般只看宽高就行，宽高合起来叫Kernel Size, 一般Kernel Size不会设太大，3 x 3足够了 观察二 同样的pattern出现在不同图片的不同区域 parameter sharing（共享参数） 不同的neuron，weight一样 每一组Receptive Fi
李宏毅 2020 ML Homework 2 - Classification-数据集
03-25
李宏毅 2020 ML Homework 2 - Classification
视频学习笔记——李宏毅机器学习——P1，2
09-12
此为datawhale组队学习（李宏毅机器学习）学习笔记 是看视频做的原创笔记 此为第一天打卡
李宏毅 2020 ML Homework 1: Linear Regression-数据集
03-25
回归-PM2.5预测（李宏毅）
李宏毅2020机器学习作业2——Classification
01-21
开始之前声明：本文参考了李宏毅机器学习作业说明（需翻墙），基本上是将代码复现了一遍，说明中用的是google colab（由谷歌提供的免费的云平台），我用的是Jupyter Notebook 本文用到的资料在百度网盘自取点击下载...
李宏毅2020ML——P24-31可解释性ML
weixin_44177594的博客
03-17 337
Explainable machine learningintroduceLocal Explainable基本的思想：global Explainable方法1——activation maximization方法二利用一个可解释model去解释不可解释的modelLinear Model决策数 introduce 在分类问题中，我们输入一张猫的图片，machine会告诉我们这是”猫“，但是为什么？ 问题1：为什么machine会认为这个是猫呢？ 问题2：machine眼中的猫是什么样子的呢？ 或者是m
李宏毅2020ML——P58 自动编码器
weixin_44177594的博客
03-23 287
自编码器introduceapplicationtext retrievalbeforeauto-encoder——text retrievalSimilar Image SearchPre-training DNNfor CNNOther Auto-encoderDe-noising auto-encodergeneration introduce 与PCA对比 can deep 效果对比 二维可视化 application text retrieval before auto-encoder
李宏毅2020ML——P8-P9 Optimization for Learning（最优化方法）
weixin_44177594的博客
03-10 262
最优化方法SGDSGD with momentumAdagradRMSPropAdamNadamAdamW & SGDW with momentum总结 SGD 缺点：（正因为有这些缺点才让这么多大神发展出了后续的各种算法） 选择合适的learning rate比较困难 - 对所有的参数更新使用同样的learning rate。对于稀疏数据或者特征，有时我们可能想更新快一些对于不经常出现的特征，对于常出现的特征更新慢一些，这时候SGD就不太能满足要求了 SGD容易收敛到局部最优，并且在某些情况
李宏毅2020ML——tips for training DNN深度学习技巧
weixin_44177594的博客
03-15 237
tips for training DNN本节综述：Recipe of Deep Learning确定问题在哪里不是所有不好都来自于overfitting不同方法去解决不同问题如何在Training data上得到更好的performance1. New activation function梯度消失的问题ReLUhandle Vanishing gradient problemMaxoutHow to train Maxout2.Adaptive Learning RateAdagardRMSPropMo
李宏毅2020ML——P11 Logistic Regression（逻辑回归）
weixin_44177594的博客
03-12 230
Review 3 steps of machine learning Step1: function set Step2:Goodness of a function 似然函数只需要将每一个点产生的概率相乘即可，注意，这里假定是二元分类，class 2的概率为1减去class 1的概率 由于L ( w , b ) 是乘积项的形式，为了方便计算，我们将上式做个变换： 这样式子进一步改写： 如果是上面的例子就会是：（目的就是为了统一格式） 现在已经有了统一的格式，我们就可以把要minimize的对
李宏毅2020ML——P12 Deep Learning深度学习概述
weixin_44177594的博客
03-12 201
deep learningUps and downs of Deep Learningstep1:define function(Neural Network)Matrix OperationOutput Layerexamplestep2：Goodness of functionstep3：Pick the best function Ups and downs of Deep Learning step1:define function(Neural Network) 只不过我们用neural
李宏毅2020机器学习笔记attention
最新发布
08-12
在李宏毅的2020机器学习笔记中，有一个关于注意力机制(Attention)的部分。这部分内容主要介绍了生成模型(Generation)、注意力(Attention)、生成的技巧(Tips for Generation)以及指针网络(Pointer Network)。在生成...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值