AI蜗牛之家

先贴几个站点，有时间再归纳一下，关于bert的实战，后面也会整理出来reference使用C++调用TensorFlow模型简单说明C++运行TensorFlow模型tensorflow/tensorflow

文章目录1.实用小技巧之InteractiveSession2.logging日志3.tensorboard(summary)3.1.tensorboard 概述3.2.graph3.3.scalar用法2.3.distributions & histogram2.3.1.distributions2.3.2.HISTOGRAMS2.3.2.示例代码2.4.tensorboard 小结参...

1. ConfigProto&GPUtf.ConfigProto一般用在创建session的时候。用来对session进行参数配置with tf.Session(config = tf.ConfigProto(...),...)#tf.ConfigProto()的参数log_device_placement=True : 是否打印设备分配日志allow_soft_plac...

global_step全局stepglobal_step在滑动平均、优化器、指数衰减学习率等方面都有用到，这个变量的实际意义非常好理解：代表全局步数，比如在多少步该进行什么操作，现在神经网络训练到多少轮等等，类似于一个钟表。global_step经常在滑动平均，学习速率变化的时候需要用到，这个参数在tf.train.GradientDescentOptimizer(learning_rate)...

SGDSGD指stochastic gradient descent，即随机梯度下降。是梯度下降的batch版本。对于训练数据集，我们首先将其分成n个batch，每个batch包含m个样本。我们每次更新都利用一个batch的数据，而非整个训练集。即： xt+1=xt+Δxtxt+1=xt+Δxtx_{t+1}=x_{t}+\Delta x_{t}Δxt=−ηgtΔxt=−η...

1、概念解释CNN是把未知图案和标准X图案一个局部一个局部的对比A ConvNet is made up of Layers. Every Layer has a simple API: It transforms an input 3D volume to an output 3D volume with some differentiable function that may or may n

先说两句题外话： （1）安装某个版本的tensorflow的pip命令是pip install tensorflow==1.4.0 (这里用1.4.0作为例子) （2）GPU版tensorflow安装：参考链接1 参考链接2 官方教程 在安装时会有几个坑： 注意cudnn的版本要与cuda相匹配 tensorflow的版本号又要与cudnn相匹配，要...

参考文章深度学习中Dropout原理解析 墙裂推荐理解dropout深度学习（二十二）Dropout浅层理解与实现tensorflow1.6 的实现代码：def dropout(x, keep_prob, noise_shape=None, seed=None, name=None): # pylint: disable=invalid-name ""&a

文章目录1.基于指数型的衰减1.1.exponential_decay1.2.piecewise_constant1.3.polynomial_decay1.4.natural_exp_decay1.5.inverse_time_decay2.基于余弦的衰减2.1.cosine_decay2.2.cosine_decay_restarts2.3.linear_cosine_decay2.4.noi...

我们在仿真一些论文的时候经常会遇到一些模型，对RNN或者LSTM进行了少许的修改，或者自己定义了一种RNN的结构等情况，比如前面介绍的几篇memory networks、qausi RNN 的论文，往往都需要按照自己定义的方法来构造RNN网络。所以本篇博客就主要总结一下RNNcell的用法以及如何按照自己的需求自定义RNNCell。tf中RNNCell的用法介绍我们直接从源码的层面来看一看tf...

Estimator类，用来训练和验证 TensorFlow 模型。Estimator 对象包含了一个模型 model_fn，这个模型给定输入和参数，会返回训练、验证或者预测等所需要的操作节点。所有的输出（检查点、事件文件等）会写入到model_dir，或者其子文件夹中。如果 model_dir 为空，则默认为临时目录。config 参数为 tf.estimator.RunConfig 对象，...

paperauthorquestions:Why 15% is masked rather all of the word like word2wec?Why get_pooled_output layer just use the first tokens’ output?run_pretraining line 284 : why add 1e-5 to the reduce(lab...

在各个领域，在一项技术渐于成熟的时候，就会摒弃掉一些底层枯燥的东西，一步步抽象出更加高层的framework，正因如此，才让人摒弃掉更多底层枯燥的工作，专注于更加有利于科技、人类社会发展的事务。而在程序猿的世界里，更是如此，前后端出现了laravel、thinkPhp，爬虫出现了scrapy、scrapyd，前端出现vue、bootstrap等优秀的框架~扯远了，今天我想整理介绍下深度模型界的f...

使用tensorflow的小伙伴肯定对GPU不陌生，在科学矩阵计算上，GPU的性能要比CPU快很多，这样会大大减小我们训练模型的时间，但是一个服务器上往往有多卡，如果能多卡共同训练一个模型岂不快哉？在开始学习tensorflow的时候我就注意到os.environ["CUDA_VISIBLE_DEVICES"]参数可以设置多卡，开始我也天真的以为这个参数就可以实现自动多卡训练，可是在做了相关的调...

看paper的时候看到same padding的说法，之前撸代码的时候用过tensorflow中的same padding，但是现在具体怎么用的记不清了，查了网上的资料，总感觉很多有些晦涩，也不能说错，但是就是好像没说清楚的样子，容易让人产生歧义。特此整理一波。 （依旧会借鉴前人哦~~~）在卷积函数conv2d和pooling函数中都会用到下面的这种padding方式~在用tensorf...