![](https://img-blog.csdnimg.cn/20201014180756916.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
牛腩面
这个作者很懒,什么都没留下…
展开
-
tf.ConfigProto()
run_config = tf.ConfigProto(...)sess = tf.Session(config=run_config)ConfigProto类:device_count:map<string, int32>设备的数量映射。key为设备的名称(比如”CPU”或者”GPU”),而value为该类型设备的数量的最大值。如果没有设置的话,系统会自动设置合适的数值。...转载 2018-11-19 12:02:33 · 4081 阅读 · 1 评论 -
tensorflow--静态bilstm
一.graph结构:n_input = 28 # MNIST data input (img shape: 28*28)n_steps = 28 # timestepsn_hidden = 256 # hidden layer num of featuresn_classes = 10 # MNIST total classes (0-9 digits)# tf Graph inp...原创 2018-12-04 00:27:44 · 378 阅读 · 0 评论 -
先读懂CapsNet架构然后用TensorFlow实现:全面解析Hinton提出的Capsule
上周&amp;nbsp;Geoffrey&amp;nbsp;Hinton&amp;nbsp;等人公开了那篇备受关注的&amp;nbsp;NIPS&amp;nbsp;论文,而后很多研究者与开发者都阅读了该论文并作出了一定的代码实现。机器之心在本文中将详细解释该论文提出的结构与过程,并借助&amp;nbsp;GitHub&amp;nbsp;上热烈讨论的项目完成了&amp;nbsp;Ca转载 2018-12-22 21:25:10 · 568 阅读 · 0 评论 -
Capsule 核心代码解读
原文地址Capsule核心代码解读前几天,Sara Sabour 开源了一份 Capsule 代码,该代码是论文 Dynamic Routing between Capsules 中所采用的实现。其实早在去年刚公布此论文,机器之心就曾详解解读过核心思想与基本代码,我们采用的代码也是各研究者尝试复现论文结果的模型。而最近 Sara 开放的代码是标准的官方实现,因此我们希望能解读部分核心代码,并探讨...转载 2018-12-23 13:52:46 · 2886 阅读 · 1 评论 -
常见序列标注方式
标签说明:标签方案中通常都使用一些简短的英文字符[串]来编码。标签是打在token上的。对于英文,token可以是一个单词(e.g. awesome),也可以是一个字符(e.g. a)。对于中文,token可以是一个词语(分词后的结果),也可以是单个汉字字符。为便于说明,以下都将token试作等同于字符。标签列表如下:B,即Begin,表示开始I,即Intermediate,表示...转载 2018-12-19 12:41:30 · 4935 阅读 · 0 评论 -
BERT之'测试数据集描述'
根据《BERT破的11项纪录具体都是什么》,《BERT详解》整理 简写 全称 数据集描述 MultiNLI multi-genre natural language inference (多类型文本蕴含关系识别) 文本间的推理关系,又称为文本蕴含关系。样本都是文本对,第一个文本M作为前提,如果能够从文本M推理出第二个文本N,即可...原创 2019-02-20 00:01:06 · 5251 阅读 · 1 评论 -
tensorflow之static_rnn和dynamic_rnn
1.dynamic_rnn与static_rnn区别。 static_rnn dynamic_rnn 不同 输入数据格式 [seq_length,batch_size,embed_size] [batch,seq_length,embed_size] 输出数据格式 [seq_length,batch_size,embed_size] ...原创 2019-03-01 19:31:52 · 1109 阅读 · 1 评论 -
深度学习之‘Batch Normalization’
学习‘Batch Normalization原理与实战- 知乎’的笔记总结:Batch Normalization是为了解决Internal Covariate Shift(内部协变量变换)而提出的一种方法,相对于传统方法白化而言(1)计算量更小(2)保留了节点上的输入数据的表达力。正文:1.什么是Internal Covariate Shift?Batch Normalizati...原创 2019-03-07 18:22:37 · 229 阅读 · 0 评论 -
深度学习之‘参数初始化’
1.Xavier 初始化适用于 tanh , sigmoidXavier初始化的基本思想是保持输入和输出的方差一致,避免了所有输出值都趋向于0,Xavier初始化的推导过程是基于线性函数的,所以他不适用于ReluW = tf.Variable(np.random.randn(node_in, node_out)) / np.sqrt(node_in)node_in:输入的layer_...原创 2019-03-21 14:43:41 · 453 阅读 · 0 评论 -
TensorFlow 模型保存/加载方法
一.保存模型tf.train.Saver()类,.save(sess, ckpt文件目录)方法 参数名称 功能说明 默认值 var_list Saver中存储变量集合 全局变量集合 reshape 加载时是否恢复变量形状 True sharded 是否将变量轮循放在所有设备上 True max_to_keep ...原创 2018-12-04 00:09:26 · 4155 阅读 · 0 评论 -
tensorflow.contrib.layers.python.layers.initializers.xavier_initializer()
Xavier Glorot 和 Yoshua Bengio 在 2010年提出了一种很有效的神经网络的初始化方法:Xavier 1.为什么需要参数初始化? 深度学习模型的权重初始化得太小,容易产生梯度消失。 权重初始化得太大,容易产生梯度爆炸Xavier初始化器得作用,就是在初始化深度学习网络得时候让权重不大不小。2.w分布: 3.下面给出公式推导:考虑线性...转载 2018-12-12 22:50:28 · 5698 阅读 · 4 评论 -
tensorflow.contrib.learn.preprocessing.VocabularyProcessor
功能:(1)建立字典:根据已分好词的文本建立一个词典(2)文本ids化:找出每个词在词典中对应的索引(3)文本对齐:不足长度或者不存在的词补0eg:s = ['我 可以 跟 在 你 身后 像 影子 追着 光 梦游', '我 可以 等 在 这 路口 不管 你 会不会 经过']max_document_length = 11#fit模型+transform数据v...原创 2018-11-30 16:00:24 · 621 阅读 · 0 评论 -
tensorflow计算评估结果(f1_score, prediction, recall)
import tensorflow as tffrom sklearn import metrics #定义 graph结构def model_cnn(): ...# pred 模型输出的预测结果pred=model_cnn()# 计算 auccorrect_prediction = tf.equal(tf.argmax(pred, 1), tf.argmax(y, ...原创 2018-12-05 02:01:52 · 11480 阅读 · 1 评论 -
随机采样
方法一: from sklearn.utils import shuffle方法二:df.sample(frac=1)方法三:np.random.permutation()+pd.take() import pandas as pdimport numpy as npdf = pd.DataFrame(np.arange(50).reshape(10,5),columns=...原创 2018-11-30 17:13:21 · 409 阅读 · 0 评论 -
tf.train.Saver()
saver = tf.train.Saver(...variables...)__init__( var_list=None, #var_list指定要保存和恢复的变量 reshape=False, sharded=False, max_to_keep=5, keep_checkpoint_every_n_hours=10000.0, n...转载 2018-11-30 22:42:29 · 1591 阅读 · 0 评论 -
tensorflow中的关键字global_step使用
global_step经常在滑动平均,学习速率变化的时候需要用到,这个参数在tf.train.GradientDescentOptimizer(learning_rate).minimize(loss, global_step=global_steps)里面有,系统会自动更新这个参数的值,从1开始。实际,操作在'tf.train.Optimizer.apply_gradients'内部完成 (见...原创 2018-11-30 23:31:40 · 1640 阅读 · 0 评论 -
tensorboard的简单实现
tensorboard简单实现:1. conda list 检查tensorboard 是否安装没有则需安装pip install tensorboard2.运行下列代码# tensorflow可视化import tensorflow as tfimport osnum1 = tf.constant([[2], [2]])nu...原创 2018-12-01 13:08:53 · 154 阅读 · 0 评论 -
TensorFlow学习笔记——节点(constant、placeholder、Variable)
版本: tensorflow 1.10TensorFlow学习笔记——节点(constant、placeholder、Variable)1. constant(常量)cons = tf.constant( value=[1,2], dtype=tf.float32, shape=(1,2), name='testconst', verify_s...原创 2018-12-01 14:19:33 · 494 阅读 · 0 评论 -
Tensorflow源码解读:Attention Seq2Seq模型
原文地址Tensorflow版本:r0.12github源码tf.nn.seq2seq文件共实现了5个seq2seq函数,因为本文重点讲解最后一个,所以前4个简要介绍一下。basic_rnn_seq2seq: 最简单版本,输入和输出都是embedding的形式;最后一步的state vector作为decoder的initial state;encoder和decoder用相同的R...转载 2018-12-05 15:17:05 · 1804 阅读 · 0 评论 -
如何使用TensorFlow中的高级API:Estimator、Experiment和Dataset
李泽南翻译2017/09/09 12:44如何使用TensorFlow中的高级API:Estimator、Experiment和Dataset近日,背景调查公司 Onfido 研究主管 Peter Roelants 在 Medium 上发表了一篇题为《Higher-Level APIs in TensorFlow》的文章,通过实例详细介绍了如何使用 TensorFlow 中的高级 API(Esti...转载 2019-03-18 19:55:43 · 1442 阅读 · 0 评论