CNN学习笔记（李宏毅机器学习）

最新推荐文章于 2024-10-01 18:45:33 发布

每天nlp进步一点点

最新推荐文章于 2024-10-01 18:45:33 发布

阅读量733

点赞数 1

分类专栏：机器学习文章标签：机器学习 cnn 人工智能

本文链接：https://blog.csdn.net/weixin_45775484/article/details/121234135

版权

机器学习专栏收录该内容

1 篇文章 0 订阅

订阅专栏

不得不说，李老师的课质量真的很高，不光课程本身好，课后作业也布置的很棒，写代码苦手如我都能跟着一起学习baseline的code。如果想要提升的话，也可以自己补充To Do的部分，很nice。
我跟着学习的是2021 Spring这一届，b站和油管都能看。课程主页
台大李宏毅机器学习
今天的部分是从理论来理解CNN，实践部分，pytorch部分的库函数如何使用，我会在以后补充。

Image Classification

假设目前我们要做一个图像识别系统，给一张猫的图片确定这个猫确实是猫，而不会识别成dog。整个过程抽象出来如图。
在这里插入图片描述

Input

在这里插入图片描述
对于图像，一般会把图像按照RGB的形式组织成length × width × channel，channel就是图像的颜色数，或者我个人觉得可以叫图层。如果是一个灰度图片，那么channel =1

Output

对于分类问题，比如有两个类，cat和dog，可以采用独热码（one-hot）的形式。

在这里插入图片描述

model

如果只是简单的用全连接层做模型的话，那么它的参数会巨大

识别图片大小为100 ×100 的图片，1000个neuron，那么weight会算3×10^7之多

但实际上，做图像识别是不需要这么多参数的，所以从两个方面考虑简化：

Receptive field

如同人类识别鸟是通过鸟的特征，而不是整张图片一样，一个neuron也并不需要观察整个图片，而只用观察到鸟的pattern。patten在的地方，就是receptive filed。
在这里插入图片描述
Receptive field存在的意义是抓pattern，所以，对于不同的目标，可以自己设计receptive field 的size，3×3，5×5都可以。size的形状也可以自己设定。
虽然receptive field size可以设置的比较小，但是它能学习到比较大的pattern

Typical Setting

在这里插入图片描述

Weight Sharing

特征不会说固定出现在一个地方，比如鸟嘴不会总在左上方出现，而是有可能出现在图片的中央、右上方等，但位置的改变没有改变本质，鸟嘴还是鸟嘴。如何利用这个特性简化模型呢？
在这里插入图片描述
不同的neuron计算时共享相同的参数，但是由于input不同，所以output也会不同。负责同一个receptive field 的neuron不会共享参数。

Typical Setting

在这里插入图片描述
假设一共有64组不同的参数，（实际上，一个filter就是其中的一组参数），对于同一个 receptive field，64个filter都会参与计算。而到了下一个receptive field，还是这64组参数作为w ，与作为x 的input计算产生output。
这时，一个CNN初步成型了。