tf2.0
文章平均质量分 69
Zero_to_zero1234
Be objective
展开
-
VAE的原理和代码实现
VAE的原理和代码实现重要参考:https://spaces.ac.cn/archives/5253https://www.jianshu.com/p/ff28eef92fa1VAE(Variational Autoencoder)中文译为变分自动编码器,它是一种深度生成模型(Deep Generative Model),是一种无监督学习算法。那么VAE的设计思路来源是什么?VAE能干嘛?代码如何实现?以及还可以怎样改进呢?下面一一道来。1、VAE的设计来源2、VAE的主要思路3原创 2020-08-04 14:38:59 · 11684 阅读 · 0 评论 -
TensorBoard实现训练可视化
推荐:TensorBoard实现训练可视化https://zhuanlan.zhihu.com/p/84215973https://www.jianshu.com/p/321eb9d195cc原创 2020-05-25 11:59:08 · 362 阅读 · 0 评论 -
访问远程服务器的tensorboard
场景与问题tensorflow程序运行在远程服务器,tensorboard启动后访问地址为:0.0.0.0:6006。这样没法用自己机器上的浏览器访问tensorboard。解决办法1 . 连接ssh时,将服务器的6006端口重定向到自己机器上来:ssh -L 16006:127.0.0.1:6006 username@remote_server_ip其中:16006:127.0.0.1代表自己机器上的16006号端口,6006是服务器上tensorboard使用的端口。2 . 在服务器上使用转载 2020-05-25 10:07:18 · 852 阅读 · 0 评论 -
Failed to convert object of type class 'tuple' to Tensor错误
Failed to convert object of type <class ‘tuple’> to Tensor. Contents: (None, -1, 128). Consider casting elements to a supported type.tensorflow中此类错误一般是 Tensor计算中,使用 x.shape[i]错误使用导致,正确的使用应该使用tf...原创 2020-04-29 17:45:32 · 10762 阅读 · 7 评论 -
Failed to import pydot. You must install pydot and graphviz for pydotprint to work
Failed to import pydot. You must install pydot and graphviz for pydotprint to work的解决办法:pip install pydotpip install pydotplusapt-get install graphvizpip install graphviz更多参考:https://github.com...原创 2020-04-28 19:45:48 · 211 阅读 · 0 评论 -
tf.keras.layers.LSTMCell和tf.keras.layers.LSTM
tf.keras.layers.LSTMCell 在整个时间序列输入中处理一个步骤,而 tf.keras.layer.LSTM处理整个序列tf.keras.layers.LSTMCellAPI简介:tf.keras.layers.LSTMCell(units, activation=‘tanh’, recurrent_activation=‘sigmoid’, use_bias=True...原创 2020-04-22 10:15:11 · 9819 阅读 · 0 评论 -
TensorFlow 2.0简明入门指南
Tensorflow2.0虽说简单易用,但是在日常使用过程中,仍有许多细节需要注意。那么,本文主要通过转载 https://www.zybuluo.com/Team/note/1479565学习,对tensorflow2.0重要细节进行补充和说明,几乎全文高能,值得认真一度:TensorFlow虽是深度学习领域最广泛使用的框架,但是对比PyTorch这一动态图框架,采用静态图(Graph模式)的...转载 2020-04-20 19:43:31 · 1261 阅读 · 0 评论 -
@tf.function()相关
https://www.bookstack.cn/read/TensorFlow2.0/spilt.4.3b87bc87b85cbe5d.mdhttps://blog.csdn.net/qq_31456593/article/details/95041177转载 2020-04-17 17:38:17 · 679 阅读 · 0 评论 -
各种矩阵(向量)求导
一个准则:按照单变量求导来做,然后调整下维数就可以了。 比如 对矩阵的求导,结果一定是和矩阵维数一致才对今天早上遇到@tornadomeet在deep learning高质量群里问:一个列向量对一个列向量求导的结果,也就是下面的第一个公式:Y = A * X --> DY/DX = A’。我这才意识到矩阵里的很多知道又忘了,这些东西一旦不用,忘了就很快。矩阵和概率论的东西真心很重要,下...转载 2020-04-15 10:31:38 · 2760 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(10.9 编码器—解码器(seq2seq))
原创 2020-04-14 18:30:33 · 519 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.10 双向循环神经网络)
原创 2020-04-14 17:57:35 · 185 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.9 深度循环神经网络)
这个在概念上很好理解,就是叠加几层,每层输出作为后层输入,注意与双向循环神经网络的区别就好了原创 2020-04-14 17:50:59 · 200 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.8 长短期记忆(LSTM))
注意一点就是: sigmoid函数和tanh函数有所区别:sigmoid将一个实数输入映射到[0,1]范围内 tanh函数将一个实数输入映射到[-1,1]范围内不过两者都有所优劣,Relu激活函数可以极大地加快收敛速度,相比tanh函数,收敛速度可以加快6倍...原创 2020-04-14 17:43:50 · 489 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.7 门控循环单元(GRU))
核心代码如下:# 从零实现 GRU,其实与 RNN 的主要区别在于有门的设计# 确定哪些是需要初始化模型参数:# 核心公式就是一下 四个# Rt=σ(XtWxr+Ht−1Whr+br), Zt=σ(XtWxz+Ht−1Whz+bz), H~t=tanh(XtWxh+(Rt⊙Ht−1)Whh+bh), Ht=Zt⊙Ht−1+(1−Zt)⊙H~t# 初始化参数有:Ht-1 的维...原创 2020-04-14 17:42:33 · 454 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.2 循环神经网络)
区别在于,dense层就没有 隐藏状态,而RNN由于隐藏状态的存在,使得前后时间序列产生了联系原创 2020-04-14 17:41:14 · 232 阅读 · 0 评论 -
keras中Input的shape及batch_shape
Input(shape=None,batch_shape=None,name=None,dtype=K.floatx(),sparse=False,tensor=None)shape: 形状元组(整型),不包括batch size。for instance, shape=(32,) 表示了预期的输入将是一批32维的向量。batch_shape: 形状元组(整型),包括了batch size...原创 2020-04-05 00:05:26 · 4991 阅读 · 0 评论 -
自然语言处理预处理数据迭代器及训练预测常用函数总结(fit_generator、build_model、checkpoint、predict_generator)
由于NLP相关数据处理和训练过程中,会经常用到相同代码,现常用模块进行记录,部分需要根据自己需求进行更改1、导入模块import kerasimport gensimfrom pathlib import Pathimport osimport numpy as npfrom keras.layers import *from keras.optimizers import SGD...原创 2020-04-01 20:04:32 · 1176 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.6 循环神经网络的反向传播)
原创 2020-03-31 00:16:33 · 211 阅读 · 0 评论 -
jay chou歌词 文本下载数据下载
周杰伦歌词数据下载:链接: https://pan.baidu.com/s/1kxHWX4w15amjnKXBrjfE2w 提取码: hkr9原创 2020-03-31 14:12:42 · 1627 阅读 · 1 评论 -
CRF和LSTM的区别和优劣
主要参考自:https://www.zhihu.com/question/46688107/answer/117448674?from=profile_answer_card转载 2020-03-26 14:07:44 · 1280 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(6.1 语言模型)
原创 2020-03-21 17:59:55 · 299 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.11 残差网络(ResNet))
from tensorflow.keras import layers,activations# 自定义残差层class Residual(tf.keras.layers.Layer): def __init__(self, num_channels, use_1x1conv=False, strides=1, **kwargs): super().__init__...原创 2020-03-18 17:41:24 · 1017 阅读 · 0 评论 -
卷积的三种模式full, same, valid以及padding的same, valid
转载一个最清晰的讲解方式:https://zhuanlan.zhihu.com/p/62760780转载 2020-03-18 17:26:07 · 1301 阅读 · 0 评论 -
使用Matplotlib子图展示卷积神经网络中间特征图层
import tensorflow as tfimport matplotlib as plt# 获取一组数据X = next(iter(train_db))[0][0]def show(X, k,i, name): print(X.shape) X = tf.expand_dims(X, axis=-1) # 将每个图转换为 200 * 200的像素,但这个不是...原创 2020-03-17 10:49:01 · 613 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.10 批量归一化)
batch_normalization就是在batch方向上,做样本归一化原创 2020-03-17 00:15:28 · 783 阅读 · 0 评论 -
Tensorflow 2.x自定义网络层的方法及其注意事项
转载记录一下:https://zhuanlan.zhihu.com/p/86886620转载 2020-03-16 12:51:51 · 322 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.9 含并行连结的网络(GoogLeNet))
模型结构仔细理解一下import tensorflow as tfprint(tf.__version__)for gpu in tf.config.experimental.list_physical_devices('GPU'): tf.config.experimental.set_memory_growth(gpu, True)class Inception(tf...原创 2020-03-15 23:58:28 · 436 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.8 网络中的网络(NiN))
import tensorflow as tfprint(tf.__version__)for gpu in tf.config.experimental.list_physical_devices('GPU'): tf.config.experimental.set_memory_growth(gpu, True)def nin_block(num_channels, ...原创 2020-03-15 22:50:15 · 298 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.7 使用重复元素的网络(VGG))
import tensorflow as tfimport osprint(tf.__version__)VGG块的组成规律是:连续使用数个相同的填充为1、窗口形状为 3×3 的卷积层后接上一个步幅为2、窗口形状为 2×2 的最大池化层。卷积层保持输入的高和宽不变,而池化层则对其减半。我们使用vgg_block函数来实现这个基础的VGG块,它可以指定卷积层的数量num_convs和输...原创 2020-03-14 23:28:25 · 393 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.5 卷积神经网络(LeNet))
data_format:一个字符串,其值为 channels_last(默认值)或者 channels_first。它表明输入的维度的顺序。此参数的目的是当模型从一种数据格式切换到另一种数据格式时保留权重顺序。channels_last 对应着尺寸为 (batch, …, channels) 的输入,而 channels_first 对应着尺寸为 (batch, channels, …) 的...原创 2020-03-14 17:19:58 · 344 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.6 深度卷积神经网络(AlexNet))
import tensorflow as tfprint(tf.__version__)import osfor gpu in tf.config.experimental.list_physical_devices('GPU'): tf.config.experimental.set_memory_growth(gpu, True)# 定义网络net = tf....原创 2020-03-14 17:18:22 · 299 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.4 池化层)
def pool2d(X, pool_size, mode='max'): p_h, p_w = pool_size Y = tf.zeros((X.shape[0] - p_h + 1, X.shape[1] - p_w +1)) Y = tf.Variable(Y) for i in range(Y.shape[0]): for j in...原创 2020-03-11 13:06:43 · 437 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.3 多输入通道和多输出通道)
# 输入形状为 h * w * channeldef corr2d(X, K): h, w = K.shape if len(X.shape) == 2: X = tf.reshape(X, (X.shape[0],1)) Y = tf.Variable(tf.zeros((X.shape[0] - h + 1, X.shape[1] - w +1, X....原创 2020-03-11 02:07:32 · 1178 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.2 填充和步幅)
def comp_conv2d(conv2d, X): X = tf.reshape(X,(1,) + X.shape + (1,)) Y = conv2d(X) #input_shape = (samples, rows, cols, channels) return tf.reshape(Y,Y.shape[1:3])conv2d = tf.keras....原创 2020-03-09 13:20:21 · 317 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(5.1 卷积神经网络之卷积层)
卷积部分推荐之前的一篇博客,内容很全面构造了一个 1 * 2 的卷积核[1, -1],用于边缘检测Y_hat = conv2d(X)for i in range(10): with tf.GradientTape(watch_accessed_variables=False) as g: g.watch(conv2d.weights[0]) ...原创 2020-03-08 23:17:14 · 354 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(4.5 GPU计算)
日常使用过程中往往需要涉及 GPU 进行模型训练和推理,及指定 GPU进行计算,那么:经常地,我会这么使用定义要使用的 gpu_id 和 需要消耗的显存:import osos.environ['CUDA_VISIBLE_DEVICES'] = '0, 1'# 获取物理gpu, cpu对象gpus = tf.config.experimental.list_physical_dev...原创 2020-03-08 17:49:51 · 520 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(4.4 读取和存储tensor及模型参数)
当然,这种保存权重的方式有时候不是最佳方式,有时候需要保留整个模型及优化器等各种信息,有时候部署可能只需要保存前馈计算的参数等各种,需要的请进一步扩展,在这里不做过多介绍...原创 2020-03-08 17:43:39 · 538 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(4.4 自定义层)
原创 2020-03-08 17:30:49 · 317 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(4.1 自定义模型)
让我们回顾一下在 3.10节(“多层感知机的简洁实现”)一节中含单隐藏层的多层感知机的实现方法。我们首先构造Sequential实例,然后依次添加两个全连接层。其中第一层的输出大小为256,即隐藏层单元个数是256;第二层的输出大小为10,即输出层单元个数是10。我们在上一章的其他 节中也使用了Sequential类构造模型。这里我们介绍另外一种基于tf.keras.Model类的模型构造方法:它...原创 2020-03-08 17:02:08 · 487 阅读 · 0 评论 -
动手学深度学习学习笔记tf2.0版(4.2 模型参数的访问、初始化和共享)
class Linear(tf.keras.Model): def __init__(self): super().__init__() self.d1 = tf.keras.layers.Dense( units=10, activation=None, kernel_initi...原创 2020-03-06 00:35:17 · 950 阅读 · 0 评论