tensorflow2.0北大课程笔记（三）

最新推荐文章于 2022-11-06 15:34:59 发布
最新推荐文章于 2022-11-06 15:34:59 发布
阅读量318 收藏 1
点赞数
分类专栏： 机器学习 文章标签： 神经网络 人工智能 tensorflow
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40965177/article/details/109378649
版权

循环核
在这里插入图片描述
循环核按时间步展开
在这里插入图片描述
循环计算层：向输出反向生长
在这里插入图片描述
TF描述循环计算层
在这里插入图片描述
在这里插入图片描述
TF描述循环计算层
在这里插入图片描述
循环计算过程I
在这里插入图片描述
随机生成了Why,Whh,Wxh,记忆体个数为3个
在这里插入图片描述
第一次运算过后
在这里插入图片描述
输出层
在这里插入图片描述
RNN预测字母
实现代码

循环计算过程，连续输入四个字母，预测下一个字母

记忆体第一次更新（输入b）
在这里插入图片描述
第二次更新（输入c）
在这里插入图片描述
第三次更新（输入d）
在这里插入图片描述
第四次更新（输入e)
在这里插入图片描述
最后输出
在这里插入图片描述
jupyter代码实现

embeding
在这里插入图片描述
课程讲解
LSTM
表征长期记忆的细胞态Ct,等待存入长期记忆的候选态Ct波浪号
在这里插入图片描述

LSTM就是你听我讲课的过程，你现在脑袋里记住的内容是今天ppt第1页到第45页的长期记忆Ct在这里插入图片描述
，这个长期记忆Ct由两部分组成，一部分是ppt第1页到第44页的内容，也就是上一时刻长期记忆Ct-1，你不可能一字不差的记住全部内容，你会不自觉地忘掉一些，所以上个时刻的长期记忆Ct-1要乘以遗忘门在这里插入图片描述，这个乘积项表示留存在你脑中的对过去的记忆，我现在讲的内容是新知识，是即将存入你脑中的现在的记忆，现在的记忆由两部分组成，一部分是我现在讲的第45页ppt。在这里插入图片描述。你的脑袋把当前时刻的输入xt和上一时刻的短期记忆ht-1归纳形成即将存入你脑中的现在的记忆Ct波浪号在这里插入图片描述.
现在的记忆Ct波浪号乘以输入门与过去的记忆一同存储为长期记忆
在这里插入图片描述。当你把这一讲复述给你朋友时，你不可能一字不漏的讲出来，你讲的是留存在你脑中的长期记忆，经过输出门筛选后的内容，这就是记忆体的输出ht。当有多层循环网络时，这一层的输出是下一层的输入，输出的是这一层的提取的精华。你可以认为我现在扮演的就是第一层循环网络，每一页ppt我都是从一篇篇论文中提取出的精华，输出给你，作为第二层循环网路的你，接收到的数据是我的长期记忆经过tanh激活函数乘以输出门提取的短期记忆ht

TF实现LSTM
在这里插入图片描述
GRU网络
在这里插入图片描述
TF实现
在这里插入图片描述

cmzz
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
时间序列预测——GRU
行者无疆的博客
04-15 1万+
  本文展示了使用GRU进行时间序列预测的全过程，包含详细的注释。整个过程主要包括：数据导入、数据清洗、结构转化、建立GRU模型、训练模型（包括动态调整学习率和earlystopping的设置）、预测、结果展示、误差评估等完整的时间序列预测流程。   本文使用的数据集在本人上传的资源中，链接为mock_kaggle.csv import pandas as pd import numpy as np import math from matplotlib import pyplot as plt from
深度学习（基于Tensorflow2.0）学习笔记——Day2
01-20
刚开始在配置Tensorflow2.0环境的时候（准确来说是2.0alpha，当时正式版还没有发布），费了不少的时间，而且直到最后也没能安装成功。所以在这里我建议大家可以用conda安装，配置一个TF2.0虚拟环境。原因是这种方法...
Tensorflow2.1入门 第六章：循环神经网络
qq_45761777的博客
02-17 307
Tensorflow2.1入门 第六章：循环神经网络一、卷积的引入 一、卷积的引入
pytorch的两个函数 .detach() .detach_() 的作用和区别
qq_15821487的博客
09-09 879
前言：当我们再训练网络的时候可能希望保持一部分的网络参数不变，只对其中一部分的参数进行调整；或者值训练部分分支网络，并不让其梯度对主网络的梯度造成影响，这时候我们就需要使用detach()函数来切断一些分支的反向传播 一、tensor.detach() 返回一个新的tensor，从当前计算图中分离下来的，但是仍指向原变量的存放位置,不同之处只是requires_grad为false，得到的这个tensor永远不需要计算其梯度，不具有grad。 即使之后...
【TensorFlow】基础笔记
liuzhicheng1845的博客
08-30 110
import tensorflow as tf tf.__version__#查询TensorFlow版本号 data.numpy()#转换为numpy对象 data.cpu().detach().numpy()#网络中的tensor对象，从GPU中提取，切割参数，获取numpy #查询维度 shape
【RNN从入门到实战】GRU入门到实战——使用GRU预测股票。
AI浩
06-28 1万+
摘要       GRU是LSTM网络的一种效果很好的变体，它较LSTM网络的结构更加简单，而且效果也很好，因此也是当前非常流形的一种网络。GRU既然是LSTM的变体，因此也是可以解决RNN网络中的长依赖问题。        在LSTM中引入了三个门函数：输入门、遗忘门和输出门来控制输入值、记忆值和输出值。如图： 而在GRU模型中只有两个门：分别是更新门和重置门。具体结构如下图
TensorFlow2.0入门学习笔记(2)——Matplotlib数据可视化
12-20
主要学习的资料西安科技大学：神经网络与深度学习——TensorFlow2.0实战，北京大学：人工智能实践Tensorflow笔记博客从tf常用的库开始，需要学习python基础的朋友推荐菜鸟教程 TensorFlow2.0学习笔记(2)——...
TensorFlow_PracticeNotes:Tensorflow 2.0实践笔记
03-07
**TensorFlow 2.0 实践笔记** 在深入探讨TensorFlow 2.0的实践细节之前，我们首先要理解TensorFlow是什么。TensorFlow是由Google Brain团队开发的一个开源库，主要用于数值计算，尤其在机器学习和深度学习领域应用...
北京大学精品慕课《TensorFlow2.0笔记》，已上传课程源码和数据集，笔记。
09-06
北京大学精品慕课《TensorFlow2.0笔记》，已上传课程源码和数据集，笔记。 MOOC课程官网：https://www.icourse163.org/course/PKU-1002536002?from=searchPage
北京大学人工智能实践-TensorFlow2.0.zip
最新发布
04-18
人工智能（Artificial Intelligence，简称AI）是一门新的技术科学，致力于研究、开发能够模拟、延伸和扩展人类智能的理论、方法、技术及应用系统。其目标是让计算机具备类人智能的能力，包括感知、理解、判断、推理...
Tensor.detach的作用是什么
Kester_的博客
01-08 2371
Tensor.detach的作用是什么解释例子 解释 Tensor.detach() 的作用是阻断反向梯度传播，在生成对抗网络的训练当中，在训练判别器的时候不需要生成器进行反向梯度传播，这时候就会使用到 detach()。 例子 我们先生成一个张量 a，其 requires_grad = True，再通过 a 和 a.detach() 构造 b 和 c 对照实验： 可以看到，c 的 requires_grad = False，c 不会反向梯度传播给 a 。 ...
手把手教你使用Tensorflow2.0搭建循环神经网络
weixin_44944722的博客
11-06 1074
【博主前言】：本篇博客主要记录基于Tensorflow2.0复现一个循环神经网络，重在使用工具实现对时序数据的处理与预测，相关的理论的推导后期会在我的深度学习原理专栏那里去详细推导，在这里你只需要大概知道循环神经网络是一个有记忆的神经网络
PyTorch中 tensor.detach() 和 tensor.data 的区别
热门推荐
梦家の博客
12-26 3万+
PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。 .detach() 返回相同数据的 tensor ,且 requires_grad=False...
【PyTorch】中 tensor.detach() 和 tensor.data 的区别
mjiansun的专栏
07-19 3809
PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。 .detach() 返回相同数据的 tensor ,且 requires_grad=False...
TensorFlow2.1入门学习笔记(16)——使用RNN，LSTM，GRU实现股票预测
Moon小木
06-24 1838
个人博客：wyxogo.top独热码：数量大，过于稀疏，映射之间是独立的，没有表现出关联性 Embedding：一种单词编码方法，以低维向量实现了编码，这种编码通过神经网络训练优化，能表达出单词的相关性。 入Embedding时， x_train维度：[送入样本数， 循环核时间展开步数] RNN使用Embedding 编码，预测下一个字母 运行结果 代码 训练结果传统的RNN网络可以通过记忆体实现短期记忆，进行连续数据的预测，但是当连续数据过长时，会使展开的时间步过长，在反向传播更新参数时，梯度
tensorflow(神经网络)学习笔记(四)之RNN（笔记）
DETACH-MENT的博客
10-30 420
循环神经网络 解决的问题: 1对多:图片生成描述 多对1:文本分类(文本情感分析) 多对多:encoding-decoding,机器翻译 实时多对多:视频解说 简单的例子:(字符语言模型),一开始输入j,预测e,在此基础再预测e,再在前面的基础,预测出p, 每一步的输出都依赖上一步的输入,多对一:前面所有输出都为0,最后一步再输出.多对多就每一步都输出 反向传播 正是因为后面的...
[Pytorch01]Tensor的创建与复制：tensor(a),detach(a),clone(a),=a
SoniciSika
07-20 1万+
Tensor的创建 tensor() t=torch.tensor(a) a可以是列表，ndarray，tensor 对于ndarray和tensor来说，t是一个copy，对t的任何操作都不会影响原有数据。 随机 和numpy中随机语法类似 rand：在(0,1)的均匀分布中sample randn: 在N(0,1)的正态分布中sample Tensor的复制 t=tensor(a) ...
pytorch和python的区别_PyTorch中 tensor.detach() 和 tensor.data 的区别详解
weixin_39808143的博客
11-25 219
PyTorch0.4中，.data 仍保留，但建议使用 .detach(), 区别在于 .data 返回和 x 的相同数据 tensor, 但不会加入到x的计算历史里，且require s_grad = False, 这样有些时候是不安全的, 因为 x.data 不能被 autograd 追踪求微分 。.detach() 返回相同数据的 tensor ,且 requires_grad=False ...
tensorflow(神经网络)学习笔记(七)自动机器学习(AutoML)介绍（学习笔记）
DETACH-MENT的博客
11-19 2752
神经网络结构搜索算法之一 网络结构 降低神经网络结构参数 如下图，彩色框框为生成单个神经的参数，使用循环神经网络去生成卷积神经网络 左边RNN可以生成LSTM的序列表达，然后把序列解析成网络表达结构，得到网络结构的表达，然后计算得到accuracy，然后反馈给RNN，然后再重新生成LSTM的序列表达。 ex：单层网络结构参数 卷积的高、宽、步长的高和宽，最后一个是chann...
【mooc】人工智能实践:tensorflow笔记-北京大学代码
08-29
人工智能实践：TensorFlow笔记，是由北京大学推出的一门针对人工智能领域的实践课程，旨在帮助学习者掌握使用TensorFlow框架进行深度学习的基本方法和技巧。 该课程的代码提供了一系列丰富的示例和实践项目，通过...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值