深度学习基础
文章平均质量分 85
深度学习基础
右边是我女神
笔记仓库
展开
-
深度学习基础汇总
MP模型是最早的神经网络模型,描述的是一个神经元的工作机制。根据神经元的结构可知:神经元是一个多输入单输出的信息处理单元,并对信息的处理是非线性的。在这个基础上,MP模型应运而生:y=f(Σiwixi+b)y=f(\Sigma_{i}w_ix_i+b)y=f(Σiwixi+b)其中,fff是激活函数。感知机模型与MP模型十分类似,其fff采用了符号函数。多重感知机模型(MLP)则是神经元的组合与叠加。前馈神经网络是人工神经网络的一种形式,各神经元分层排列,每个神经元只与前一层神经元相连,接收前一层的原创 2022-06-27 23:53:38 · 1056 阅读 · 1 评论 -
经典模型——Transformer
MLP、CNN、RNN后的第四大模型。序列转录模型主要是采用RNN或者CNN。里面常常包含一种编码器和解码器的结构。仅仅依赖于注意力机制。该篇文章主要是针对机器翻译做的。后来应用在了不同的领域。问题:注意力机制很早就和RNN有所结合,更好地实现了编解码器之间的数据交互。但是本文舍弃了RNN的结构,完全采用注意力机制来完成。用卷积神经网络对比较长的序列难以建模,需要用很多层卷积扩大感受野。卷积的优势在于有多个输出通道,每个通道可以学一个模式。因此,本文提出了多头的注意力模型。对于序列模型来说,编码器-解码器结原创 2022-06-27 20:47:55 · 2107 阅读 · 0 评论 -
经典模型——NiN&GoogLeNet
全连接层的问题:包含大量的参数。很容易过拟合。通常是输入通道数×图像尺寸×输出尺度输入通道数\times 图像尺寸\times 输出尺度输入通道数×图像尺寸×输出尺度NiN的思想是:完全不要全连接层;一个NiN块:卷积层之后跟两个1x1的卷积,步幅为1,无填充,输出形状和卷积层输出一样。起到了全连接层的作用(按照逐一像素)。NiN的架构:如果我们要得到1000类的话,最后就有1000个通道,每个做全局平均池化得到这一通道对应类的置信度。总结:参数用了Alex那一套,不过加了一些1x1的卷积。怎么选择最好原创 2022-06-25 16:27:27 · 836 阅读 · 0 评论 -
经典模型——ResNet
深度卷积神经网络的好处在于其层比较多,每一层都能捕捉不同的信息。从低级的视觉特征到高级的语义特征。但是层这么多是一件好事吗?显然不是,随着网络层次的加深,会出现梯度爆炸与梯度消失。常见的解决方案是好的初始化或者加入BN层。然而,虽然做了这些操作之后,模型收敛了,但是精度却下降了。这也不是过拟合造成的,因为训练误差和测试误差都上升了。如下图所示。进一步思考:按理来说,如果我浅层网络性能比较好的话,深层网络的性能不应该下降的。因为至少可以让新加的层成为一个identity mapping(恒等映射)。但是,简原创 2022-06-24 20:44:47 · 1725 阅读 · 0 评论 -
经典模型——AlexNet
为了识别更多的图像,我们需要一个有强大学习能力的模型。CNN是一个很好的选择。随着其深度和宽度的增加,其性能也有很大的提升。同时,相比于前馈神经网络,CNN有着更少的连接和参数。随着算力的提升,CNN有了用武之地,这也是为什么做CNN的原因。本文基于CNN设计了一个新的网络,包含5个卷积层和3个全连接层。同时,为了避免过拟合,用了一些特别的技术。直接裁剪256×256256\times 256256×256大小的图像,作为输入。里程碑:直接在raw image上进行训练。tanh和sigmoid存在梯度饱和原创 2022-06-23 17:17:41 · 871 阅读 · 0 评论 -
GNN_表示学习
文章目录表示学习表示学习的意义离散表示与分布式表示端到端学习基于重构损失的方法——自编码器自编码器正则自编码器表示学习表示通俗来讲就是特征。模型效果的好坏很大程度上取决于特征。如果有一类方法可以自动地去数据中学习有用的特征,并可以直接用于后续的具体任务,这类方法统称为表示学习。表示学习的意义机器学习的一大弊病在于:学习算法的性能严重依赖于特征。数据的处理和转化的工作被称为特征工程。特征工程的目的在于将人的先验知识转化为可以被机器学习算法识别的特征,以弥补自身的缺点。比如人工删除一些不必要的特征可原创 2021-09-08 11:00:38 · 255 阅读 · 0 评论 -
GNN_卷积神经网络
文章目录卷积与池化信号处理中的卷积图像中的卷积卷积的意义深度学习中的卷积操作单通道卷积多通道卷积池化卷积神经网络特点特殊的卷积形式1x1卷积转置卷积卷积与池化信号处理中的卷积从数学的角度分析,卷积是函数g(τ)g(\tau)g(τ)先翻转后平移得到的结果与函数f(τ)f(\tau)f(τ)的积分。另外,在Deeplearning-CNN中,本人层从信号处理的角度深刻探讨了卷积的应用。体现了信号衰减与叠加的魅力。图像中的卷积计算机中的图像通常是二维或者三维的,可以用一个二维或者三维的矩阵表示。我原创 2021-09-06 16:38:17 · 417 阅读 · 0 评论 -
os库在ai模型中的一些常见应用(随时更新笔记)
文章目录os.listdir()os.remove()os.rmdir()os.mkdir()os.path.isfile()os.path.isdir()os.path.exits()os.path.join()os.listdir()参数:path;列出path目录下所有的文件和目录名称;以列表的形式,内部元素为字符串;path参数是可以省略的。os.remove()参数:path;删除path指定的文件;path应该指明最后的文件;os.rmdir()参数:path;删除path指原创 2021-08-29 11:07:23 · 111 阅读 · 0 评论 -
DL_8_Transfer Learning & Special Layer
文章目录迁移学习应用方向迁移方案Case-1模型微调保守训练层迁移多任务学习Case-2领域对抗学习零样本学习Other cases更多网络层批量归一化空洞卷积迁移学习应用方向我们已经训练好了一个猫狗分类器,在以下两种情况下,可以迁移模型:相同研究领域,不同研究目标:同样是研究现实图像,不过要区分大象和老虎;不同研究领域,相同研究发现:研究的是动漫图像,但还是要做一个猫狗分类。也就是说,我原任务的数据和我要做的东西不大一样了,但又暗含一些关系,此时可以做模型的迁移学习。迁移学习,将任务A原创 2021-06-24 13:53:40 · 158 阅读 · 0 评论 -
DL_7_Transformer
文章目录Seq2Seq model注意力机制自注意力机制引入模型矩阵计算-并行化处理多头自注意力机制位置信息TransformerEncoderDecoderTransformer is a Seq2Seq model with self- attention.Seq2Seq model该模型是一种循环神经网络的变种,包括编码器和解码器部分。属于Many to Many种类,常见于机器翻译。常见的Seq2Seq model有三种形式,这三种模型的主要区别也仅仅在于Decoder,它们的Encoder原创 2021-06-24 02:11:16 · 145 阅读 · 0 评论 -
DL_6_无监督学习
文章目录无监督学习基础主要应用名词解释学习要素无监督特征学习聚类K-MeansHAC分布式表示降维表示为什么要降维?如何进行降维?特征选择PCAAuto-encoder文本检索图像检索预训练DNNAuto-encoder for CNN矩阵因子分解(Matrix Factorization)无监督学习基础无监督学习是指从无标签的数据中学习出一些有用的模式。监督学习:构建输入-输出之间的映射关系;无监督学习:发现隐藏的数据中的有价值信息,包括有效的特征、类别、结构以及概率分布。主要应用主要分为特征原创 2021-06-23 09:35:13 · 183 阅读 · 1 评论 -
DL_5_ 卷积网络的应用
卷积网络的应用概述自然语言处理a. 语言模型 根据前几个单词输入进行分析,预测下一个词;b. 文本图像合成 根据文本生成理想的图片;c. 语音识别;d. 自动问答 计算机阅读文字后,回答一些与文字相关的问题。计算机视觉计算机视觉与很多技术会融合在一起,它的作用只是从图像中提取信息。a. 人脸识别;b. 目标检测;c. 语义分割 对图像或视频中的像素点进行预测;d. 人体姿态估计 定位人在图像中的位置。图像处理a. 图像去雾;b. 图像去雨;c. 医学图像去原创 2021-06-21 13:51:45 · 193 阅读 · 2 评论 -
DL_4_CNN
文章目录回顾CNN的组成部分卷积层卷积的原理卷积的操作多个滤波器举例说明卷积后 图像尺寸的计算*例题特殊的卷积核卷积的参数填充为什么卷积核是奇数?步幅卷积的感受野激活层池化层最大池化平均池化卷积层与池化层对比常见的CNN网络LeNet-5LeNet-5与当前网络结构的区别回顾前文我们已经介绍过全连接神经网络(FCN),它有着很明显的两个缺点:权重矩阵参数过多;无法提取局部不变性特征。大量参数的必然性会导致以下结果:随着图像尺寸增大而激增;对图像处理的延展性差。然而,卷积神经网络则能很原创 2021-06-19 17:11:32 · 290 阅读 · 0 评论 -
DL_3_神经网络的训练(一文读懂训练网络各模块的细节!!)
文章目录数据预处理数据增广/增强数据归一化(Normalization)数据归一化对梯度的影响网络结构全连接神经网络(FCN)卷积神经网络(CNN)图像的上采样和下采样循环神经网络(RNN)参数初始化参数不能初始化为0预训练初始化随机初始化固定方差的参数初始化高斯初始化均匀分布初始化基于方差缩放的参数初始化正交初始化损失函数0-1损失函数绝对值损失函数对数损失函数平方损失函数指数损失函数合页损失函数感知损失函数交叉熵损失函数聚焦损失函数模型优化学习准则优化问题迭代算法非凸问题函数的特殊点平坦最小值问题损失函原创 2021-06-19 01:05:38 · 857 阅读 · 0 评论 -
DL_2_神经网络和反向传播
文章目录多层感知机单层感知机常见的激活函数Sigmoid系列图像性质ReLU系列图像性质多层感知机前馈神经网络前馈神经网络的特征数学表示通用近似定理分类问题交叉熵损失函数梯度反向传播链式法则计算图例子自动微分多层感知机单层感知机常见的激活函数Sigmoid系列Sigmoidσ(x)=11+e−x\sigma(x)=\frac{1}{1+e^{-x}}σ(x)=1+e−x1Tanhtanh(x)=ex−e−xex+e−xtanh(x)=\frac{e^x-e^{-x}}{e^x+e^{-原创 2021-06-18 01:22:26 · 164 阅读 · 1 评论 -
DL_1_深度学习简介
文章目录人工智能和机器学习概述发展脉络人工智能的三个发展层面计算智能感知智能认知智能如何理解人工智能类人行为方式类人思维方式理性思维方法理性行为方法神经网络和深度学习概述发展脉络深度学习应用机器学习基本概念人工智能和机器学习概述发展脉络人工智能的三个发展层面计算智能计算机具有快速计算和记忆存储能力;“深蓝”:算法核心基于暴力穷举。感知智能能听会说、能看会认。认知智能能理解、思考、决策。AlphaGo。如何理解人工智能1956年,达特茅斯会议:“人工智能”概念诞生。人工智能:原创 2021-06-16 16:15:19 · 338 阅读 · 0 评论 -
Visdom
如何调用visdompython3 -m visdom.serverpython3 文件名无比在运行文件之前打开服务器。visdom的一些函数# 新建一个连接客户端# env:可视化空间名称vis = visdom.Visdom(env='test1')服务器自动缓存可视化文件,重新加载页面,可视化文件会重新出现。vis.text('') #文本显示vis.image(img,win) #图片显示,需要注意的是visdom读取的是RGB。vis.plot() #绘制曲线win代原创 2021-06-10 22:06:26 · 158 阅读 · 0 评论 -
深度生成模型_VAE
文章目录自编码器能否生成新的图像?VAE的其他优势变分自动编码器整体架构隐藏层部分分布标准化KL散度问题应用Disentangled VAEAuto-Encoder:注意:自编码器是一种数据压缩(降维)的方法!自编码器能否生成新的图像?自编码器结构的后半部分可以生成图片,因此我们将其单独提出来。我们希望的事Decoder可以扮演一个Generator的身份。在自编码器结构中,输入的隐变量来源于Encoder,这也是基于原始图片得到的向量,那么现在该输入什么样的变量就成为了一个问题。因此,自原创 2021-06-10 00:01:19 · 564 阅读 · 0 评论 -
深度生成模型_Conditional GAN
一般的GAN,输入一个Vector会输出一个图片。原创 2021-06-09 16:28:45 · 146 阅读 · 0 评论 -
深度生成模型_GAN(上课笔记与反思、言简意赅)
文章目录Gan的思想GeneratorDiscriminatorGenerator和Discriminator相互作用问题Gan算法Gan的思想Generator应用:生成图片:生成句子:在实际应用中,我们可以根据图片生成文字或由文字联想相关的图片,这可以通过Generator实现,只要提取特征矩阵即可。由此可知,我们给予Generator一个向量,它可以返回一个高维向量(对应着图片/句子),通过控制输入向量的某一维度数据,得到的图片/句子的某一特征也会随之发生变化。Discrim原创 2021-06-06 10:37:22 · 880 阅读 · 0 评论 -
NLP_词向量表示
什么是词嵌入?定义:自然语言处理(NLP)中语言模型与表征学习技术的统称。指的是:把一个维数为所有词的数量的高维空间嵌入到一个维数低得多的连续向量空间中,每个单词或词组映射到实数域上的向量。整数编码本质上是降到了一维整数域。缺点:无法表达词语之间的关系;对于模型解释,整数编码可能具有挑战性。One-hot编码构建了一个词汇表,其实并没有降维。缺点:无法表达词语之间的关系,相关词汇间的泛化能力不强;对于这种过于稀疏的向量,计算和存储效率不高。如何理解“无法表达词语之间的原创 2021-06-01 21:38:20 · 205 阅读 · 0 评论 -
循环神经网络_LSTM&GRU
文章目录引入结构Long Short-Term Memory 长短时记忆网络引入序列短时,相关的信息和预测的词位置之间的间隔小,RNN可以学会使用先前的信息;然而,序列长时,相关信息和当前预测位置之间的间隔大,RNN会丧失学习到连接如此之远的信息的能力;此外,序列过长时,会发生梯度爆炸或者梯度消失。结构四个输入分别为:存入的记忆以及三个决定门开闭的信号一个输出为:取出的记忆。...原创 2021-05-31 19:19:08 · 636 阅读 · 2 评论 -
循环神经网络_基础
卷积神经网络专门用于处理网格化的数据,而循环神经网络是专门用于处理序列化的的数据。处理序列数据:语言识别、音乐生成、情感分类、机器翻译、视频行为识别、命名实体识别。前馈神经网络与循环神经网络前馈神经网络不考虑上下文信息,输入固定则输出固定;不同的训练样本,输入、输出序列的长度不同;在文本序列不同位置学习到的特征不共享;以词汇序列为例,我们想要提取目的地与时间。将语句转化为向量;输入Feedforward Network。![](https://img-blog.csdnimg.原创 2021-05-30 22:39:22 · 462 阅读 · 0 评论