深度学习
文章平均质量分 96
分享一些深度学习前言知识和思路。
优惠券已抵扣
余额抵扣
还需支付
¥299.90
¥399.90
购买须知?
本专栏为图文内容,最终完结不会低于15篇文章。
订阅专栏,享有专栏所有文章阅读权限。
本专栏为虚拟商品,基于网络商品和虚拟商品的性质和特征,专栏一经购买无正当理由不予退款,不支持升级,敬请谅解。
安替-AnTi
研究生在读
展开
-
Transformer注意力机制模型介绍
Transformer是一个利用注意力机制来提高模型训练速度的模型。关于注意力机制可以参看这篇文章,trasnformer可以说是完全基于自注意力机制的一个深度学习模型,因为它适用于并行化计算,和它本身模型的复杂程度导致它在精度和性能上都要高于之前流行的RNN循环神经网络。最后祭出这张经典的图,最初看这张图的时候可能难以理解,希望大家在深入理解Transformer后再看这张图能够有更深刻的认识。原创 2023-12-14 15:14:55 · 984 阅读 · 0 评论 -
NLP中的Seq2Seq与attention注意力机制
到这里,本文已经介绍了seq2seq模型的基本概念及seq2seq中的注意力机制,希望能帮到大家。原创 2023-12-13 17:06:09 · 1028 阅读 · 0 评论 -
wandb可视化自动调参
设置优化指标,以及优化方向。sweep agents 通过 wandb.log 的形式向 sweep controller 传递优化目标的值。超参空间可以分成 固定型,离散型和连续型。固定型:指定 value离散型:指定 values,列出全部候选取值。连续性:需要指定 分布类型 distribution, 和范围 min, max。用于 random 或者 bayes采样。# 固定不变的超参# 离散型分布超参},})# 连续型分布超参'lr': {'max': 0.1},原创 2023-12-06 17:19:48 · 646 阅读 · 1 评论 -
Informer时序模型介绍
具体写在云上了还可以参考文章如下Informer时序模型自定义项目首先,在不更改任何参数的情况下跑完代码,会在项目文件夹中生成两个子文件夹checkpoints文件夹中包含训练完成的模型,后缀名为.pth,该模型文件包含完整的模型架构与各层权重,可以通过torch.load函数加载模型results文件夹中包含metrics.npy、pred.npy、true.npy三个文件,pred.npy表示模型预测值,true.npy表示序列真实值。原创 2023-12-06 14:37:24 · 542 阅读 · 0 评论 -
LSTM+CNN实现时间序列预测(负荷预测)
为了查看模型的训练效果,我们采用可视化的方式来对比真实值和预测值的差距,对于绘图,我们采用了经典的可视化库matplotlib# 绘制结果plot_size = 200 # 绘制前200个样本plt.show()plt.show()解释下上述代码,首先定义了plot_size,这个变量是用来绘制样本数的,因为我们的数据集中存在几千个样本,如果全部绘制,会导致曲线过于拥挤,为了更好的观察拟合效果,所以只绘制其中一小部分。还有一处需要说明的是。原创 2023-11-24 16:30:03 · 1314 阅读 · 0 评论 -
如何理解和解决神经网络训练中的梯度消失和梯度爆炸
如何理解和解决神经网络训练中的梯度消失和梯度爆炸解决办法一:梯度剪切、正则化解决办法二:Relu、LeakRelu、Elu等激活函数ReluLeakReluELu解决办法三:batch Normalization解决办法四:残差网络解决办法五参考文献层数比较多的神经网络模型在训练时也是会出现一些问题的,其中就包括梯度消失问题(gradient vanishing problem)和梯度爆炸问题(gradient exploding problem)。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越原创 2020-09-04 12:54:57 · 3147 阅读 · 0 评论 -
BP神经网络算法
科普生物上的神经元就是接受四面八方的刺激(输入),然后做出反应(输出),给它一点阳光就灿烂。仿生嘛,于是喜欢放飞自我的某些人就提出了人工神经网络。一切的基础—>人工神经元,看图:通往沙漠的入口: 神经元是什么,有什么用:开始前,需要搞清楚一个很重要的问题:人工神经网络里的神经元是什么,有什么用。只有弄清楚这个问题,你才知道你在哪里,在做什么,要往哪里去。首先,回顾一下神经元的结构,看下图, 我们先忽略激活函数不管:输入x1,x2,…,xn\mathrm{x}_{1原创 2020-08-05 19:41:19 · 769 阅读 · 0 评论 -
浅谈深度学习中的激活函数
激活函数的作用首先,激活函数不是真的要去激活什么。在神经网络中,激活函数的作用是能够给神经网络加入一些非线性因素,使得神经网络可以更好地解决较为复杂的问题。比如在下面的这个问题中:如上图,在最简单的情况下,数据是线性可分的,只需要一条直线就已经能够对样本进行很好地分类。但如果情况变得复杂了一点呢?在上图中,数据就变成了线性不可分的情况。在这种情况下,简单的一条直线就已经不能够对样本进行很好地分类了。于是我们尝试引入非线性的因素,对样本进行分类。在神经网络中也类似,我们需要引入一些非线性的因原创 2020-08-05 16:55:07 · 789 阅读 · 0 评论 -
Softmax函数详解以及求导过程
这几天学习了一下softmax激活函数,以及它的梯度求导过程,整理一下便于分享和交流!softmax函数softmax用于多分类过程中,它将多个神经元的输出,映射到(0,1)区间内,可以看成概率来理解,从而来进行多分类!假设我们有一个数组,V,Vi表示V中的第i个元素,那么这个元素的softmax值就是Si=ei∑jejS_{i}=\frac{e^{i}}{\sum_{j} e^{j}}S...原创 2020-03-27 14:30:06 · 2758 阅读 · 0 评论 -
神经网络训练中的梯度消失与梯度爆炸
层数比较多的神经网络模型在训练时也是会出现一些问题的,其中就包括梯度消失问题(gradient vanishing problem)和梯度爆炸问题(gradient exploding problem)。梯度消失问题和梯度爆炸问题一般随着网络层数的增加会变得越来越明显。例如,对于下图所示的含有3个隐藏层的神经网络,梯度消失问题发生时,接近于输出层的hidden layer 3层的权值更新相对正常...原创 2020-03-27 10:09:47 · 600 阅读 · 0 评论 -
长短时记忆网络(LSTM)
往期回顾在上一篇文章中,我们介绍了循环神经网络以及它的训练算法。我们也介绍了循环神经网络很难训练的原因,这导致了它在实际应用中,很难处理长距离的依赖。在本文中,我们将介绍一种改进之后的循环神经网络:长短时记忆网络(Long Short Term Memory Network, LSTM),它成功的解决了原始循环神经网络的缺陷,成为当前最流行的RNN,在语音识别、图片描述、自然语言处理等许多领域中...原创 2019-11-06 20:19:09 · 1607 阅读 · 0 评论 -
RNN循环神经网络
在前面的文章系列文章中,我们介绍了全连接神经网络和卷积神经网络,以及它们的训练和使用。他们都只能单独的取处理一个个的输入,前一个输入和后一个输入是完全没有关系的。但是,某些任务需要能够更好的处理序列的信息,即前面的输入和后面的输入是有关系的。比如,当我们在理解一句话意思时,孤立的理解这句话的每个词是不够的,我们需要处理这些词连接起来的整个序列;当我们处理视频的时候,我们也不能只单独的去分析每一帧,而要分析这些帧连接起来的整个序列。这时,就需要用到深度学习领域中另一类非常重要神经网络:循环神经网络(Recur原创 2019-11-05 21:06:24 · 538 阅读 · 1 评论 -
CNN卷积神经网络
往期回顾在前面的文章中,我们介绍了全连接神经网络,以及它的训练和使用。我们用它来识别了手写数字,然而,这种结构的网络对于图像识别任务来说并不是很合适。本文将要介绍一种更适合图像、语音识别任务的神经网络结构——卷积神经网络(Convolutional Neural Network, CNN)。说卷积神经网络是最重要的一种神经网络也不为过,它在最近几年大放异彩,几乎所有图像、语音识别领域的重要突破都...原创 2019-11-05 09:50:00 · 498 阅读 · 0 评论 -
神经网络和反向传播算法
往期回顾在上一篇文章中,我们已经掌握了机器学习的基本套路,对模型、目标函数、优化算法这些概念有了一定程度的理解,而且已经会训练单个的感知器或者线性单元了。在这篇文章中,我们将把这些单独的单元按照一定的规则相互连接在一起形成神经网络,从而奇迹般的获得了强大的学习能力。我们还将介绍这种网络的训练算法:反向传播算法。最后,我们依然用代码实现一个神经网络。如果您能坚持到本文的结尾,将会看到我们用自己实现...原创 2019-10-02 14:57:09 · 1045 阅读 · 0 评论 -
线性单元和梯度下降
往期回顾在上一篇文章中,我们已经学会了编写一个简单的感知器,并用它来实现一个线性分类器。你应该还记得用来训练感知器的『感知器规则』。然而,我们并没有关心这个规则是怎么得到的。本文通过介绍另外一种『感知器』,也就是『线性单元』,来说明关于机器学习一些基本的概念,比如模型、目标函数、优化算法等等。这些概念对于所有的机器学习算法来说都是通用的,掌握了这些概念,就掌握了机器学习的基本套路。线性单元是啥...原创 2019-10-01 18:18:03 · 336 阅读 · 0 评论 -
感知器
深度学习是啥在人工智能领域,有一个方法叫机器学习。在机器学习这个方法里,有一类算法叫神经网络。神经网络如下图所示:上图中每个圆圈都是一个神经元,每条线表示神经元之间的连接。我们可以看到,上面的神经元被分成了多层,层与层之间的神经元有连接,而层内之间的神经元没有连接。最左边的层叫做输入层,这层负责接收输入数据;最右边的层叫输出层,我们可以从这层获取神经网络输出数据。输入层和输出层之间的层叫做隐...原创 2019-10-01 15:08:20 · 1629 阅读 · 1 评论 -
七月在线Tensorflow框架案例实战--第2课 详解深度神经网络案例
七月在线Tensorflow框架案例实战--第2课 详解深度神经网络案例0 引言1 linear_regression2 polynomial_regression3 logistic_regression4 multilayer_perception:多层感知器0 引言课程来源:https://www.julyedu.com/course/getDetail/82模型跑起来,你需要两步:...原创 2019-06-29 16:51:33 · 474 阅读 · 0 评论