深度学习理论篇(2021版)
文章平均质量分 92
深度学习理论知识汇总
布尔大学士
工学博士在读,主要从事智能制造、工业精密检测、智能化设备研发等方向研究,已发表二区Top文章一篇、国家级竞赛二等奖一项、已授权软件著作权两项、已发表中文期刊两篇,先后参与国家自然科学基金面上项目、省重点研发计划等课题。
展开
-
推荐系统中的卷积
水平卷积的特点: filter 的宽 与 embedding 矩阵的宽是相等的,在embedding 矩阵从上向下滑动的过程中是通过 filter 的高 来控制要关注几个行为。如图所示,水平卷积层中的卷积在 latent space 上滑动并卷积计算后通过激活函数得到的向量,再通过一个max-pooling ,取出向量中最大的一个值,最后若干卷积的结果 concat 到一起就是该层的输出。举个例子,如下图,历史行为有4个,要预测的候选为长城和酒吧。原创 2023-04-14 15:14:45 · 293 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 01 从零开始介绍深度学习算法和代码实现
1、AI的分类:2、深度学习的应用:3、案例研究-广告点击原创 2021-11-18 20:12:00 · 8511 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 02 pytorch环境的安装
1、要注重在真实数据上的模型动手能力2、要学会给别人讲一遍,充分理解【最高境界】CSDN上有很多就不介绍了3060+11.3CUDA+Pytorch避坑指南 - 知乎https://zhuanlan.zhihu.com/p/425203171原创 2021-11-18 20:30:30 · 1771 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 03 数据操作 + 数据预处理
1.数据操作#首先导入torch,虽然被称为pytorch,但是我们应该导入torch而不是pytorchimport torch#张量表示一个数值组成的数组,这个数字可能有多个维度x=torch.arange(12)xx.shape() #shape不是函数哦#我们可以通过张量的shape属性来访问形状和张量元素中的总数x.shapex.numel() #x的总数#要改变一个张量的形状,而不改变元素的数...原创 2021-11-20 20:38:13 · 8290 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 04 线性代数
1.基本概念2.线性代数的实现3.原创 2021-11-22 16:39:11 · 907 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 05 矩阵计算
QA:1.梯度下降仅仅在凸函数中获得最优解,机器学习不关心确定性问题P,仅关心不确定性问题NP。2.pytorh采用的是自动微分和计算图,不会再使用手动微分实现。原创 2021-11-23 10:08:00 · 332 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 06 自动求导+导数与微分
1.自动求导2.自动求导实现2.1ppt截图QA1.显示构造:先将整个计算写出来,再去写入参数值。2.在深度网络求梯度的时候,需要正向算一遍(将y的函数值算出来),反向算一遍。3.pytorch默认累计梯度的原因:累计梯度的情况主要是在批量的情况下,Pytorch对于内存的管理不够好,批量计算的内存大小较大,因此将其分开计算,故需要默认累计梯度。...原创 2021-11-23 10:11:34 · 1409 阅读 · 0 评论 -
【Pytorch神经网络基础理论篇】 08 Softmax 回归 + 损失函数 + 图片分类数据集
一、Softmax 回归1.1视频截图二、损失函数三、图像分类数据集四、从0开始实现sofymax回归五、softmax回归的简洁实现QA:1.softmax 和 logistic类似2.相对熵:是一个对称的关系...原创 2021-11-23 16:27:45 · 1336 阅读 · 0 评论 -
李沐动手学深度学习pytorch :问题:找不到d2l包,No module named ‘d2l’
####解决方案 pip install -U d2l原创 2022-01-09 16:15:30 · 4917 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 01 Pytorch快速上手(一)概述+张量
1 概述Pytorch是基于Torch之上的python包,在底层主要通过张量的形式进行计算,Pytorch中的张量表示为同一数据类型的多位橘子。1.1 基础数据类型的概述1、标量:即具体的数字2、向量:多个标量组成3、矩阵:多个向量组成4、张量:多个矩阵组成的量2 张量2.1 张量在编程语言上的定义方法2.1.1 torch.tensor()import torch # 引入torch库import numpy as np # 引入Numpy"""原创 2022-02-09 17:37:48 · 7841 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 02 Pytorch快速上手(二)GPU与CPU张量切换+具有随机值的张量+张量的数学运算
1 在GPU与CPU上定义张量1.1 GPU与CPU的张量相互转化import torch# 创建一个张量a = torch.FloatTensor()# 将CPU上的张量在GPU所管理的内存中重新创建b = a.cuda()print(b) # 输出 tensor([], device='cuda:0')# 将GPU上的张量创建到CPU上print(b.cpu()) # 输出 tensor([])1.2 在GPU上定义张量import torch# 创建一个张量a原创 2022-02-27 17:25:01 · 4827 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 03 Pytorch快速上手(三)张量的数据操作
1 张量的数据操作1.1 torch.reshape()实现数据维度变化import torcha = torch.tensor([[1,2],[3,4]])print(torch.reshape(a,(1,-1))) # 将其转化为只有1行数据的张量,参数-1表示自动计算# tensor([[1, 2, 3, 4]])print(a.reshape((1,-1))) # # 将其转化为只有1行数据的张量,参数-1表示自动计算# tensor([[1, 2, 3, 4]])print(原创 2022-03-01 20:48:23 · 4399 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 04 Variable类型与自动微分模块剖析
1 Variable类型与自动微分模块概述1.1 Variable类型Variable是由Autograd模块对张量进行进一步封装实现的,具有自动求导的功能1.2 Autograd模块(自动求导模块)Autograd模块:在神经网络的反向传播中,基于正向计算的结果进行微分计算,从而实现对于网络权重的更新与迭代,提供了张量的自动求微分功能,可以通过代码来实现对反向过程的控制,使得权重参数朝着目标结果进行更新与发展。2 Variable类型与自动微分模块实战2.1 Variabl原创 2022-03-01 22:37:42 · 5409 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 05 Module类的使用方法+参数Parameters类+定义训练模型的步骤与方法
1 Module类的使用方法1.1 Module类的add_module()方法1.1.1 概述add_module():将XX层插入到模型结构中1.1.2 add_module()----LogicNet_fun.py(第1部分)import torch.nn as nnimport torchimport numpy as npimport matplotlib.pyplot as pltclass LogicNet(nn.Module): def __ini原创 2022-03-02 14:12:24 · 7214 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 06 神经元+神经网络模型+全连接网络模型
1 神经元1.1 概述1.1.1 神经网络神经网络:一种人工模仿动物中枢系统的数学模型,用于对函数进行近似估计1.1.2 神经元神经网络的基本单位是神经元。神经元是一种处理单元,是对人脑组织的神经元的某种抽象、简化和模拟。通过神经元,人工神经网络可以以数学模型模拟人脑神经元活动,继而进行高效的计算以及其他处理。1.2 计算机中的神经元系统1.2.1 简单的神经元系统神经元模型便是模拟大脑神经元的运行过程,其包含输入,输出与计算功能,输入可以类比为神经元的原创 2022-03-03 16:13:04 · 8409 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 07 激活函数+Sigmoid+tanh+ReLU+Swish+Mish+GELU
①激活函数:主要通过加入非线性因素,你不线性模型表达能力不足的缺陷,因为神经网络中的数学基础是处处可微分的函数,故要求激活函数也应该保证数据的输入与输出是可微分。②激活函数可以分为饱和激活函数与不饱和激活函数,激活函数的右饱和指当x xx趋向于正无穷时,函数的导数趋近于0。同样的,当x xx趋向于负无穷时,函数的导数趋近于0,此时称为左饱和。当一个函数既满足右饱和,又满足左饱和,则称为饱和函数,否则称为非饱和函数。1 Sigmoid函数对于分类任务来说,如果仅仅给出分类的结果,在某些场景下.原创 2022-03-03 20:10:08 · 8070 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 08 Softmax函数(处理分类问题)
1.1 Softmax函数简介oftmax函数本质也为激活函数,主要用于多分类问题,且要求分类互斥,分类器最后的输出单元需要Softmax 函数进行数值处理。Tip:在搭建网络模型的时候,需要用Softmax将目标分成几个,则在最后一层放几个节点1.1.1Softmax函数构成C为:分类的类别数1.1.2 Softmax傻瓜式解释将所有的值用e的n次方计算出来,求和之后计算每一个值的占比,保证其和为100%,即为概率Tip:若多分类任务中的每个类之间不是互斥,则将其转化原创 2022-03-07 21:58:04 · 6407 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 09 神经网络模块中的损失函数
1 训练模型的步骤与方法将样本书记输入到模型中计算出正向的结果 计算模型结果与样本目标数值之间的差值(也称为损失值loss) 根据损失值,使用链式反向求导的方法,依次计算出模型中每个参数/权重的梯度 使用优化器中的策略对模型中的参数进行更新2 神经网络模块中的损失函数2.1 损失函数定义损失函数主要用来计算“输出值”与“输入值”之间的差距,即误差,反向传播中依靠损失函数找到最优的权重。2.2 L1损失函数/最小绝对值偏差(LAD)/最小绝对值误差(LAE)L1损失函数用于最小原创 2022-03-08 15:27:52 · 6501 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 10 优化器模块+退化学习率
1 优化器模块的作用1.1 反向传播的核心思想反向传播的意义下雨告诉模型我们需要将权重修改到什么数值可以得到最优解,在开始探索合适权重的过程中,正向传播所生成的结果与实际标签/目标值存在误差,反向传播通过这个误差传递给权重,要求权重进行适当的调整来达到一个合适的输出,最终使得正向传播所预测的结果与标签的目标值的误差达到最小,以上即为反向传播的核心思想1.2 优化器简介正向结构与损失函数获取完毕之后,通过优化器模块中优化函数来实现对学习参数的优化,其内部原理主要是梯度下降的方法实现的原创 2022-03-08 18:02:03 · 6135 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 11 卷积网络模型+Sobel算子原理
1 视觉角度理解卷积神经网络1.1 卷积神经网络与生物视觉系统的关系卷积神经网络的工作流程与生物大脑的处理视觉信号的流程相似,即:将图像从基础像素到局部信息再到整体信息的转化。大脑在对图像进行分级处理时,图片由低级特征到高级特征进行逐级计算。1.2 微积分大脑处理视觉时,本质是先微分再积分的过程1.3 离散微分与离散积分在微积分中,无限细分的条件是,被细分的对象必须是连续的,例如直线可以无限细分为点、但是若干个点则无法进行细分。1.3.1 离散微分将离散的对象进行原创 2022-03-10 17:43:55 · 10417 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 12 卷积神经网络实现+卷积计算的图解
1 卷积神经网络接口1.1 卷积接口介绍torch.nn.functional.conv1d:实现按照1个维度进行的卷积操作,常用于处理序列数据。 torch.nn.functional.conv2d:实现按照2个维度进行的卷积操作,常用于处理二维平面图片。 torch.nn.functional.conv3d:实现按照3个维度进行的卷积操作,常用于处理三维图形数据。1.2卷积函数的定义torch.nn.functional.conv2d(input, weight, bias=Non.原创 2022-03-12 15:33:38 · 2906 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 13 深层卷积神经网络介绍+池化操作+深层卷积神经网络实战
1 深层卷积神经网络概述1.1 深层卷积神经网络模型结构图1.1.1 深层卷积神经网络的正向结构构成剖析输入层,将每个像素作为一个特征节点输入网络。 卷积层:由多个滤波器组合而成。 池化层:将卷积结果降维,对卷积后的特征图进行降维处理,得到更为显著的特征,池化层会对特征图中的数据作最大值/均值处理,在保留特征图原有的特征的基础上,减少后续运算量。 全局平均池化层:对生成的特征图取全局平均值,该层可以用全连接网络代替。 输出层:网络需要将数据分成几类,该层就有几个输出节点,每个输出原创 2022-03-12 18:25:31 · 3210 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 14 过拟合问题的优化技巧(一):基本概念+正则化+数据增大
1 过拟合问题的描述1.1 过拟合问题概述深度额学习训练过程中,在训练阶段得到了较好的准确率,但在识别非数据集数据时存在精度下降的问题,这种现象称为过拟合现象。主要原因:由于模型的拟合度过高,导致模型不仅学习样本的群体规律,也学习样本的个体规律。1.2 过拟合问题模型的设计1.2.1 构建数据集---Over_fitting.py(第1部分)import sklearn.datasetsimport torchimport numpy as npimport matpl原创 2022-03-13 16:51:43 · 4163 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 15 过拟合问题的优化技巧(二):Dropout()方法
1 Dropout方法2.1 Dropout原理在训练过程中,每次随机选择一部分节点不去进行学习。2.1.1 从Dropout原理来看过拟合的原因任何一个模型不能完全把数据分开,在某一类中一定会有一些异常数据,过拟合的问题恰恰是把这些异常数据当成规律来学习了。2.1.2 异常数据的特点异常数据的特点:与主流样本中的规律不同,在一个样本中出现的概率要比主流数据出现的概率低很多。在每次训练中,忽略模型中一些节点,将小概率的异常数据获得学习的机会变得更低。这样,异常数据对模型的影响就会原创 2022-03-14 17:19:08 · 7868 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 16 过拟合问题的优化技巧(三):批量归一化
1 批量归一化理论1.1 批量归一化原理1.2 批量归一化定义将每一层运算出来的数据归一化成均值为0、方差为1的标准高斯分布。这样就会在保留样本的分布特征,又消除了层与层间的分布差异。在实际应用中,批量归一化的收敛非常快,并且具有很强的泛化能力,某种情况下可以完全代替前面讲过的正则化、Dropout。在训练过程中,会通过优化器的反向求导来优化出合适的r,β值。BN层计算每次输入的均值与方差,并进行移动平均。移动平均默认的动量值为0.1。在验证过程中,会使用训练求.原创 2022-03-14 19:23:02 · 7921 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 17 循环神经网络结构:概述+BP算法+BPTT算法
1 循环神经网络结构概述循环神经网络(Recurrent Neural Network,RNN)是一个具有记忆功能的网络模型。它可以发现样本彼此之间的相互关系。它多用于处理带有序列特征的样本数据。1.1 生物大脑中的循环神经网络当获得“我找你来玩游”信息后,大脑的语言模型会自动预测后一个字为“戏”,而不是“乐”“泳”等其他字。每个预测的结果都会放到下个输入里面进行运算,与下一次的食人鱼一起来生成下一次的结果。链式地、有顺序地存储信息”很节省空间,对于中间状态的序列,大脑没原创 2022-03-16 17:53:40 · 5752 阅读 · 1 评论 -
【Pytorch神经网络理论篇】 18 循环神经网络结构:LSTM结构+双向RNN结构
1 深层循环神经网络的构建在深层网络结构中,会将简单的RNN模型从两个角度进行改造,具体如下。使用更复杂的结构作为RNN模型的基本单元,使其在单层网络上提取更好的记忆特征。 将多个基本单元结合起来,组成不同的结构(多层RNN、双向RNN等)。有时还会配合全连接网络、卷积网络等多种模型结构,一起组成拟合能力更强的网络模型。其中,RNN模型的基本单元称为Cell,它是整个RNN的基础。2 常见的cell结构:LSTM长短记忆(Long Short Term Memory,LSTM)单元是一种使用原创 2022-03-16 20:48:46 · 4332 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 19 循环神经网络训练语言模型:语言模型概述+NLP多项式概述
1 语言模型循环神经网络模型可以对序列片段进行学习,找到样本间的顺序特征。这个特性非常适合运用在语言处理方向。1.1 语言模型简介语言模型包括文法语言模型和统计语言模型,一般指统计语言模型。1.1.1 统计语言模型统计语言模型是指:把语言(词的序列)看成一个随机事件,并赋予相应的概率来描述其属于某种语言集合的可能性,衡量一个句子的合理性,概率越高,说明这个句子越像是自然句子。统计语言模型的作用是,为一个长度为m的字符串确定一个概率分布P(w1,w2,...,wm),表示其存在的可能原创 2022-03-20 09:49:34 · 4264 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 20 神经网络中的注意力机制
注意力机制可以使神经网络忽略不重要的特征向量,而重点计算有用的特征向量。在抛去无用特征对拟合结果于扰的同时,又提升了运算速度。1 注意力机制所谓Attention机制,便是聚焦于局部信息的机制,比如图像中的某一个图像区域。随着任务的变化,注意力区域往往会发生变化。面对上面这样的一张图,如果你只是从整体来看,只看到了很多人头,但是你拉近一个一个仔细看就了不得了,都是天才科学家。图中除了人脸之外的信息其实都是无用的,也做不了什么任务,Attention机制便是要找到这些最有用...原创 2022-03-21 15:43:17 · 20712 阅读 · 2 评论 -
【Pytorch神经网络理论篇】 21 信息熵与互信息:联合熵+条件熵+交叉熵+相对熵/KL散度/信息散度+JS散度
1 信息熵熵 (Entropy),信息熵:常被用来作为一个系统的信息含量的量化指标,从而可以进一步用来作为系统方程优化的目标或者参数选择的判据。1.1 信息熵的性质单调性,发生概率越高的事件,其携带的信息量越低; 非负性,信息熵可以看作为一种广度量,非负性是一种合理的必然; 累加性,多随机事件同时发生存在的总不确定性的量度约等于各事件不确定性的量度的和, 假设信息熵的函数是I,计算概率的函数是P,I是关于P的减函数,即I(P1,P2)=I(P1)+I(P2)。1.1.1 信息熵的公式原创 2022-03-23 15:54:49 · 8697 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 22 自编码神经网络:概述+变分+条件变分自编码神经网络
1 无监督学习模型的概述在监督训练中,模型能根据预测结果与标签差值来计算损失,并向损失最小的方向进行收敛。在无监督训练中,无法通过样本标签为模型权重指定收敛方向,这就要求模型必须有自我监督的功能。1.1 典型的两个神经网络模型比较典型的两个神经网络是自编码神经网络和对抗神经网络:①自编码神经网络:把数据当作标签来指定收敛方向。②对抗神经网络:一般会使用两个或多个子模型同时进行训练,利用多个模型之间的关系来达到互相监督的效果。2 自编码神经网络自编码是一种以重构输入信号为目标的神原创 2022-03-23 16:38:56 · 6500 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 23 对抗神经网络:概述流程 + WGAN模型 + WGAN-gp模型 + 条件GAN + WGAN-div + W散度
1 对抗神经简介1.1 对抗神经网络的基本组成1.1.1 基本构成对抗神经网络(即生成式对抗网络,GAN)一般由两个模型组成:生成器模型(generator):用于合成与真实样本相差无几的模拟样本。 判别器模型(discriminator):用于判断某个样本是来自真实世界还是模拟生成的。1.1.2 不同模型的在GAN中的主要作用生成器模型的目的是,让判别器模型将合成样本当成直实样本。判别器模的目的是,将合成样本与真实样本区分开。1.1.3 独立任务若将两个模型放在一起同原创 2022-03-24 20:31:54 · 15619 阅读 · 2 评论 -
【Pytorch神经网络理论篇】 24 神经网络中散度的应用:F散度+f-GAN的实现+互信息神经估计+GAN模型训练技巧
1 散度在无监督学习中的应用在神经网络的损失计算中,最大化和最小化两个数据分布间散度的方法,已经成为无监督模型中有效的训练方法之一。在无监督模型训练中,不但可以使用K散度JS散度,而且可以使用其他度量分布的方法。f-GAN将度量分布的做法总结起来并找出了其中的规律,使用统一的f散度实现了基于度量分布的方法实现基于度量分布方法训练GAN模型的通用框架。1.1 f-GAN简述f-GAN是是一套训练GAN的框架总结,它不是具体的GAN方法,它可以在GAN的训练中很容易实现各种散度的应用,即f-..原创 2022-03-27 17:43:13 · 11794 阅读 · 8 评论 -
【Pytorch神经网络理论篇】 25 基于谱域图神经网络GNN:基础知识+GNN功能+矩阵基础+图卷积神经网络+拉普拉斯矩阵
图神经网络(Graph Neural Network,GNN)是一类能够从图结构数据中学习特征规律的神经网络,是解决图结构数据(非欧氏空间数据)机器学习问题的最重要的技术。1 图神经网络的基础知识 图神经网络(Graph Neural Network,GNN)是一类能够从图结构数据中学习特征规律的神经网络,是解决图结构数据(非欧氏空间数据)机器学习问题的最重要的技术之一。 前面章节中主要介绍了神经网络的相关知识。接下来,让我们了解一下图神经网络相关的基础知识。1.1 欧氏...原创 2022-03-29 16:50:32 · 8443 阅读 · 2 评论 -
【Pytorch神经网络基础理论篇】 07 线性回归 + 基础优化算法
一、视频截图d2l包可以直接在conda的prompt里面输入命令 pip install -U d2l 来安装原创 2022-03-29 22:53:48 · 3001 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 26 基于空间域的图卷积GCNs(ConvGNNs):定点域+谱域+图卷积的操作步骤
图卷积网络(Graph Convolutional Network,GCN)是一种能对图数据进行深度学习的方法。图卷积中的“图”是指数学(图论)中用顶点和边建立的有相关联系的拓扑图,而积指的是“离散卷积”,其本质就是一种加权求和,加权系数就是卷积核的权重系数。图结构数据是具有无限维的一种不规则数据,每一个顶点周围的结构可能都是独一无二的,没有平移不变性使得传统的CNN、PNN无法在上面工作。1 GCN如果说CNN是图像的特征提取器,那么GCN便是图数据的特征提取器。CNN可以直接...原创 2022-03-31 15:46:56 · 9274 阅读 · 2 评论 -
【Pytorch神经网络理论篇】 27 图神经网络DGL库:简介+安装+卸载+数据集+PYG库+NetWorkx库
DGL库是由纽约大学和亚马逊联手推出的图神经网络框架,支持对异构图的处理,开源相关异构图神经网络的代码,在GCMC、RGCN等业内知名的模型实现上也取得了很好的效果。1 DGL库的实现与性能实现GNN并不容易,因为它需要在不规则数据上实现较高的GPU吞吐量。1.1 DGL库简介DGL库的逻辑层使用了顶点域的处理方式,使代码更容易理解。同时,又在底层的内存和运行效率方面做了大量的工作,使得框架可以发挥出更好的性能。1.2 DGL库特点GCMC:DGL的内存优化支...原创 2022-03-31 16:41:19 · 10951 阅读 · 2 评论 -
【Pytorch神经网络理论篇】 28 DGLGraph图的基本操作(缺一部分 明天补)
1DGLGraphDGL库官方操作指南https://docs.dgl.ai/原创 2022-03-31 21:18:14 · 11042 阅读 · 2 评论 -
【Pytorch神经网络理论篇】 29 图卷积模型的缺陷+弥补方案
图卷积模型在每个全连接网络层的结果中加入了样本间的特征计算。其述质是依赖深度学特征与缺陷。1.1 全连接网络的特征与缺陷多层全连接神经网络被称为万能的拟合神经网络。先在单个网络层中用多个神经元节点实现低维的数据拟合,再通过多层叠加的方式对低维拟合能力进行综合,从而在理论上实现对任意数据的特征拟合。图10-12左侧的两幅图表示前一层的两个神经元节点将数据在各自的直角坐标系中分成了两类。图10-12中右侧的图表示后一层神经元将前一层的两个神经元结果融合到一起,实现最终的分类结果...原创 2022-04-01 17:48:56 · 10767 阅读 · 0 评论 -
【Pytorch神经网络理论篇】 30 图片分类模型:Inception模型
1 Inception系列模型Incepton系列模型包括V1、V2、V3、V4等版本,主要解决深层网络的三个问题:训练数据集有限,参数太多,容易过拟合; 网络越大,计算复杂度越大,难以应用; 网络越深,梯度越往后传,越容易消失(梯度弥散),难以优化模型。1.1 多分支结构原始的Inception模型采用多分支结构(见图1-1),它将1×1卷积、3×3卷积最大池化堆叠在一起。这种结构既可以增加网络的宽度,又可以增强网络对不同尺寸的适应性。Inception模型包含3种不同尺寸的..原创 2022-04-02 17:57:09 · 8007 阅读 · 0 评论