![](https://img-blog.csdnimg.cn/20201014180756930.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
文章平均质量分 90
辰阳星宇
这个作者很懒,什么都没留下…
展开
-
【Transformer从零开始代码实现 pytoch版】Transformer架构各个部件详细分析代码合集
【Transformer从零开始代码实现 pytoch版】(一)输入部件:embedding+positionalEncoding【Transformer从零开始代码实现 pytoch版】(二)Encoder编码器组件:mask + attention + feed forward + add&norm【Transformer从零开始代码实现 pytoch版】(三)Decoder编码器组件:多头自注意力+多头注意力+全连接层+规范化层【Transformer从零开始代码实现 pytoch版】(四)输出部件:原创 2023-11-15 09:46:50 · 186 阅读 · 0 评论 -
12、动手学深度学习——循环神经网络从零实现+Pytorch内置函数实现:代码详解
高级API提供了循环神经网络的实现。我们构造一个具有256个隐藏单元的单隐藏层的循环神经网络层rnn_layer。事实上,我们还没有讨论多层循环神经网络的意义。现在仅需要将多层理解为一层循环神经网络的输出被用作下一层循环神经网络的输入就足够了。我们使用张量来初始化隐状态,它的形状是(隐藏层数,批量大小,隐藏单元数)。通过一个隐状态和一个输入,我们就可以用更新后的隐状态计算输出。需要强调的是,rnn_layer的“输出”(Y)不涉及输出层的计算: 它是指每个时间步的隐状态,这些隐状态可以用作后续输出层的输入。原创 2023-07-20 20:56:32 · 479 阅读 · 2 评论 -
11、动手学深度学习——语言模型和数据集:代码详解
我们了解了如何将文本数据映射为词元,以及将这些词元可以视为一系列离散的观测,例如单词或字符。假设长度为T的文本序列中的词元依次为x1x2xT。于是,xt1≤t≤T)可以被认为是t。在给定这样的文本序列时,语言模型(language model)的目标是估计序列的联合概率Px1x2xT例如,只需要一次抽取一个词元xt∼Pxt∣xt−1x1,一个理想的语言模型就能够基于模型本身生成自然文本。原创 2023-07-18 20:40:40 · 2579 阅读 · 2 评论 -
10、动手学深度学习——文本预处理:代码详解
一篇文章可以被简单地看作一串单词序列,甚至是一串字符序列。本节中,我们将解析文本的常见预处理步骤。原创 2023-07-17 21:43:43 · 589 阅读 · 1 评论 -
9、动手学深度学习——使用块的网络(VGG)
虽然AlexNet证明深层神经网络卓有成效,但它没有提供一个通用的模板来指导后续的研究人员设计新的网络。在下面的几个章节中,我们将介绍一些常用于设计深层神经网络的启发式概念。与芯片设计中工程师从放置晶体管到逻辑元件再到逻辑块的过程类似,。研究人员开始。使用块的想法首先出现在牛津大学的视觉几何组(visual geometry group)的VGG网络中。通过,可以很容易地在任何现代深度学习框架的代码中实现这些重复的架构。而。原创 2023-07-05 20:50:16 · 498 阅读 · 0 评论 -
8、动手学深度学习——现代卷积神经网络:AlexNet
AlexNet中神经网络有6000万个参数和650,000个神经元,由五个卷积层组成,其中一些层后面是最大池层,还有三个全连接层,最后是1000路softmax。为了使训练更快,我们使用了非饱和神经元和非常有效的卷积运算GPU实现。为了减少全连接层中的过度拟合,我们采用了一种最近开发的正则化方法,称为“dropout”,该方法被证明非常有效。原创 2023-07-05 19:21:18 · 697 阅读 · 0 评论 -
7、动手学深度学习——卷积神经网络:基础部件+LeNet
通过逐渐聚合信息,生成越来越粗糙的映射,最终实现学习全局表示的目标,同时将卷积图层的所有优势保留在中间层。此外,原创 2023-07-04 16:29:01 · 906 阅读 · 0 评论 -
6、动手学深度学习——多层感知机:数值稳定性和模型初始化
考虑一个具有L层、输入x和输出o的深层网络。每一层l由变换fl定义,该变换的参数为权重Wl,其隐藏变量是hl(令h0xhlflhl−1因此ofL∘∘f1x如果所有隐藏变量和输入都是向量,我们可以将o关于任何一组参数Wl∂WloMLdef∂hL−1hL⋅⋅Ml1def∂hlhl1vldef∂Wlhl换言之,该梯度是L。原创 2023-06-30 17:36:01 · 268 阅读 · 0 评论 -
5、动手学深度学习——多层感知机:过拟合解决方法:权重衰退、丢弃法
同样,我们使用Fashion-MNIST数据集。我们定义具有两个隐藏层的多层感知机,每个隐藏层包含256个单元。我们可以将暂退法应用于每个隐藏层的输出(在激活函数之后),并且可以为每一层分别设置暂退概率: 常见的技巧是在靠近输入层的地方设置较低的暂退概率。下面的模型将第一个和第二个隐藏层的暂退概率分别设置为0.2和0.5, 并且暂退法只在训练期间有效。原创 2023-06-29 11:03:11 · 371 阅读 · 0 评论 -
4、动手学深度学习——多层感知机:模型选择、欠拟合和过拟合
训练误差(training error)是指,。泛化误差(generalization error)是指,,泛化误差体现出了模型的泛化能力。原创 2023-06-28 12:52:01 · 409 阅读 · 0 评论 -
3、动手学深度学习——多层感知机:多层感知机的实现(从零实现+内置函数实现)
多层感知机原创 2023-06-27 12:27:14 · 1049 阅读 · 0 评论 -
1、动手学深度学习——线性神经网络:线性回归的实现(从零实现+内置函数实现)
接下来,我们必须定义模型,将模型的输入和参数同模型的输出关联起来。def linreg(X , w , b) : #@save """线性回归模型""" return torch . matmul(X , w) + b因为需要计算损失函数的梯度,所以我们应该先定义损失函数,在这里我们使用平方损失函数。原创 2023-06-25 12:56:36 · 749 阅读 · 0 评论 -
13. 在ubuntu16.04(linux)安装配置tensroflow-io
12. 配置tensroflow-io+tensorflow-io-kafka> 前置环境准备1、安装tensorflow-io> 前置环境准备10. ubuntu16.04配置anaconda+python3+tensorflow+jupyter远程访问1、安装tensorflow-io安装到tensorflow环境里,先启动环境activate source tensor...原创 2020-04-27 11:53:21 · 568 阅读 · 0 评论 -
14. 使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测
使用tensorflow2中keras框架搭建LSTM神经网络模型进行时间序列预测Step1:导入包Step2:设置GPU的使用率可按需增长Step3:读取数据Step4:设置参数Step5:构建数据集切分数据创建数据集Step6:模型构建及训练构建LSMT神经网络模型训练模型并保存画图查看模型学习情况Step7:模型检验训练检验画图检验Step8:进行预测设置训练集进行预测画图展示Step1:...原创 2020-05-16 21:59:30 · 8659 阅读 · 7 评论 -
win10+anaconda+pytorch+CUDA+cuDNN+tensorflow-gpu安装教程
参考文章:win10+1060显卡安装anaconda+CUDA10.1+pytorch+cuDNN+tensorflow-gpu干货:TensorFlow1.2~2.1各个GPU版本CUDA和cuDNN对应版本整理NVIDIA CUDA各版本下载链接(更新至2019-3-7,包含最新10.1版本)Windows系统使用nvidia命令行方法查看gpu设备是否可用...原创 2020-03-17 20:08:59 · 736 阅读 · 0 评论 -
基于LSTM多维度特征的资金流预测
LSTM多维度项目背景观察数据进行处理特征选择合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入项目背景本篇主要是使用天池比赛中...原创 2019-05-27 22:40:41 · 7541 阅读 · 3 评论 -
深度学习路上的坑
一、Variable train/rnn/basic_lstm_cell/kernel already exists, disallowed. Did you mean to set reuse=True or reuse=tf.AUTO_REUSE in VarScope? Originally defined at的问题解决方法:Step 1:添加tf.reset_default_gr...原创 2019-03-17 17:24:56 · 198 阅读 · 0 评论