深度学习—常见的卷积操作和卷积神经网络

各种常见的卷积操作

0、三种模式及输出矩阵尺寸计算

W输入矩阵宽，w是卷积核的大小，p是padding的数值，stride是滑动步幅

Full 补k-1圈 ：w0 =（ | W | - w + 2p ）/ stride + 1

Same 补若干圈：w0 = ceil（ | W | / stride）padding

Valid 不补：w0 = ceil（ | W | - w + 1 / stride）no padding

1、1×1卷积

一般发生在多个通道中（一个通道没有意义），相当于降维操作

作用：1）降维，例如从2626192，到262616，1×1卷积是跨通道线性组合，是通道间的信息交互；

2）增加非线性激励，只改变通道数，在输入数据分辨率/尺寸不损失的前提下，大幅增加神经网络的非线性特性。

3）减少权值个数

2、扩张卷积/膨胀卷积/空洞卷积（Dilated Convolution, Atrous Convolution）

在标准卷积中注入空洞，空洞卷积常被用于低成本地增加输出单元上的感受野，同时还不需要增加卷积的大小

空洞卷积的实际卷积核的大小/宽：k = w + ( w - 1 )*( r - 1 ) w为原始卷积和的宽，r为扩张率

优点：扩大了神经网络的感受野，捕获更多上下文信息，尤其对大尺寸的物体分割有用

缺点：局部信息丢失

3、反卷积/逆卷积/转置卷积（Deconcolution/Transposed Convolution）

是一种上采样方法，反卷积是中间填0再卷积；普通的上采样如果用双线性插值，中间填相邻元素的差值

卷积核实际大小 ：K = W + （ W - 1 ）* （ stride - 1 ）

4、反池化/上池化（Unpooling）与上采样（Unsampling）

池化时，保存了最大值再输入数据中的位置信息矩阵；反池化时，将对应位置上的值置为输出矩阵的对应值，其他元素置为0。

无卷积，操作简单。

5、PixelShuffle像素重排列上采样 ESPCN超分辨率方法

6、分组卷积（AlexNet）Grouped Convolution

举例：如将所有通道分为两组，则每一组通道分别使用各自对应的D/2个卷积核，最后两组卷积特征堆叠。

作用：1）减少参数量，参数为原来的1/G

2）加快训练速度

3）有时可以正则化的效果

7、深度可分离卷积（Depthwise Separable Convolutions）

逐通道卷积（Depthwise Convolution）：是一个卷积核负责一个通道，一个通道只被一个卷积核卷积。输出的通道数与输入相同，但是没有利用不同通道在相同空间位置上的特征关系。

逐点卷积：执行1×1卷积，M为输入通道数，进行单点上的特征提取。

深度可分离卷积 = 逐通道卷积 + 逐点卷积 ，前后两个步骤，其将分组卷积推向了极端，此时：分组数是输入通道数目，即每个输入通道单独卷积。

****应用：MobileNet 、移动端轻量化网络、参数少、占用资源少、运算快

卷积神经网络

1、LeNet和AlexNet卷积神经网络

LeNet

网络结构：两个卷积层，两个池化层，两个全连接层，一个输出层。

激活函数：AvgPooling、SIgmoid

两个卷积层都是5×5的窗口，两个全连接层的神经元数量分别为120和84。

创新性：卷积神经网络的开山之作，完成了CNN从0到1的过程。

AlexNet

网络结构：五个卷积层，三个池化层，两个全连接层，一个输出层。

激活函数：MaxPooling、ReLu

第一层卷积11×11窗口，以后5×5，3×3，两个全连接层的神经元数量都为4096。

创新性：两个全连接层之间使用了Dropout技术，随机将一半的隐层节点置为0（当模型参数太多，而训练样本太少时，易产生过拟合）。

2、VGG-16卷积神经网络

特点：13个卷积层和3个全连接层，5个池化/下采样操作，3*3的卷积核（卷积核尺寸小）代替之前的大尺寸卷积，神经网络深度更深（全连接处神经元多）。

3、GoogleLeNet卷积神经网络 Inception V1

创新点：Inception V1引入了1*1卷积和多个Inception块；神经网络结构设计上进行分支设计

4、Inception V3及后续版本

使用了多种不同的Inception块，首次使用了批归一化。

5、RestNet及后续版本

创新点：使用了残差块–捷径连接，在输入激活函数前，将前层网络的输入与当前层网络层的输出进行结合，数据可以跨层连接。

网络越深，梯度就越容易出问题，捷径连接的方式一定程度上缩短了损失的反向传播路径，减小了梯度风险。

6、其他神经网络

EfficientNet-B0：注意力机制，激活函数是Swish

FasterNet：速度更快，因为特征图在不同通道之间具有很高的相似性，所以PConv对部分输入通道应用常规的Conv来进行空间特征提取，而对其余通道保持不变。内存访问数量仅为常规卷积的1/4。

如何学习大模型 AI ？

由于新岗位的生产效率，要优于被取代岗位的生产效率，所以实际上整个社会的生产效率是提升的。

但是具体到个人，只能说是：

“最先掌握AI的人，将会比较晚掌握AI的人有竞争优势”。

这句话，放在计算机、互联网、移动互联网的开局时期，都是一样的道理。

我在一线互联网企业工作十余年里，指导过不少同行后辈。帮助很多人得到了学习和成长。

我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。但苦于知识传播途径有限，很多互联网行业朋友无法获得正确的资料得到学习提升，故此将并将重要的AI大模型资料包括AI大模型入门学习思维导图、精品AI大模型学习书籍手册、视频教程、实战学习等录播视频免费分享出来。

😝有需要的小伙伴，可以点击下方链接免费领取或者V扫描下方二维码免费领取🆓

第一阶段（10天）：初阶应用

该阶段让大家对大模型 AI有一个最前沿的认识，对大模型 AI 的理解超过 95% 的人，可以在相关讨论时发表高级、不跟风、又接地气的见解，别人只会和 AI 聊天，而你能调教 AI，并能用代码将大模型和业务衔接。

• 大模型 AI 能干什么？
• 大模型是怎样获得「智能」的？
• 用好 AI 的核心心法
• 大模型应用业务架构
• 大模型应用技术架构
• 代码示例：向 GPT-3.5 灌入新知识
• 提示工程的意义和核心思想
• Prompt 典型构成
• 指令调优方法论
• 思维链和思维树
• Prompt 攻击和防范
• …

第二阶段（30天）：高阶应用

该阶段我们正式进入大模型 AI 进阶实战学习，学会构造私有知识库，扩展 AI 的能力。快速开发一个完整的基于 agent 对话机器人。掌握功能最强的大模型开发框架，抓住最新的技术进展，适合 Python 和 JavaScript 程序员。

• 为什么要做 RAG
• 搭建一个简单的 ChatPDF
• 检索的基础概念
• 什么是向量表示（Embeddings）
• 向量数据库与向量检索
• 基于向量检索的 RAG
• 搭建 RAG 系统的扩展知识
• 混合检索与 RAG-Fusion 简介
• 向量模型本地部署
• …

第三阶段（30天）：模型训练

恭喜你，如果学到这里，你基本可以找到一份大模型 AI相关的工作，自己也能训练 GPT 了！通过微调，训练自己的垂直大模型，能独立训练开源多模态大模型，掌握更多技术方案。

到此为止，大概2个月的时间。你已经成为了一名“AI小子”。那么你还想往下探索吗？

• 为什么要做 RAG
• 什么是模型
• 什么是模型训练
• 求解器 & 损失函数简介
• 小实验2：手写一个简单的神经网络并训练它
• 什么是训练/预训练/微调/轻量化微调
• Transformer结构简介
• 轻量化微调
• 实验数据集的构建
• …

第四阶段（20天）：商业闭环

对全球大模型从性能、吞吐量、成本等方面有一定的认知，可以在云端和本地等多种环境下部署大模型，找到适合自己的项目/创业方向，做一名被 AI 武装的产品经理。

• 硬件选型
• 带你了解全球大模型
• 使用国产大模型服务
• 搭建 OpenAI 代理
• 热身：基于阿里云 PAI 部署 Stable Diffusion
• 在本地计算机运行大模型
• 大模型的私有化部署
• 基于 vLLM 部署大模型
• 案例：如何优雅地在阿里云私有部署开源大模型
• 部署一套开源 LLM 项目
• 内容安全
• 互联网信息服务算法备案
• …

学习是一个过程，只要学习就会有挑战。天道酬勤，你越努力，就会成为越优秀的自己。

如果你能在15天内完成所有的任务，那你堪称天才。然而，如果你能完成 60-70% 的内容，你就已经开始具备成为一名大模型 AI 的正确特征了。

这份完整版的大模型 AI 学习资料已经上传CSDN，朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】

😝有需要的小伙伴，可以Vx扫描下方二维码免费领取==🆓