tensorflow
.我心永恒_
stay hungry, stay foolish. keep looking, don't sate!
展开
-
使用keras实现swish以及h_swish激活函数的创建以及调用
一、使用keras实现swish以及h_swish激活函数的创建并将添加from keras import backend as Kfrom keras.layers import Activationfrom keras.utils.generic_utils import get_custom_objectsdef swish(inputs): return (K.sigmo...原创 2019-10-14 13:43:53 · 5209 阅读 · 5 评论 -
Keras实现Senet block模块
一、keras实现的Senet block模块代码class SeBlock(keras.layers.Layer): #add def __init__(self, reduction=4,**kwargs): super(SeBlock,self).__init__(**kwargs) self.reduction = reduction ...原创 2019-10-14 13:40:45 · 8720 阅读 · 29 评论 -
tensorflow之tf.tensordot详解
tf.tensordot是tensorflow中tensor矩阵相乘的API,可以进行任意维度的矩阵相乘(1).tf.tensordot函数详细介绍如下:tf.tensordot( a, b, axes, name=None)"""Args: a:类型为float32或者float64的tensor b:和a有相同的type,即张量同类型,...原创 2019-08-29 20:47:25 · 16186 阅读 · 3 评论 -
梯度裁剪tf.clip_by_norm and tf.clip_by_global_norm
(一)、为什么要进行梯度裁剪?防止训练过程中,梯度回传的时候,梯度过大,导致模型振荡,不稳定,难以训练,即传说中的防止梯度爆炸。(二)、什么是范数?范数(norm)是数学中的一种基本概念,最常用的就是p-范数.假设一个向量为:1-范数:2-范数:在梯度裁剪的条件判断过程中,仅仅是向量变成关于梯度的向量,或者使用所有梯度的向量而已(三)、tensorflow实现的梯度裁剪两个...原创 2019-08-16 02:40:53 · 1427 阅读 · 0 评论 -
深度学习中的滑动平均算法原理详解
(一)、什么是一阶滞后滤波?一阶滞后滤波是一种数据平滑的手段,通过对本次采样值与上次滤波输出,做概率加权叠加,有效的使得了每次数据的滤波结果不仅仅与本次采样有关还与上次的输出有关,保证了每次的滤波输出都会一定程度上受上次滤波结果的影响,一般来说,这种影响在这种机制中都会占很大权重,即上次滤波输出的概率权重远大于本次采样的概率权重,从而可以使得滤波结果可以很平滑的从上次滤波结果过渡到本次滤波结果,...原创 2019-08-21 03:13:29 · 5495 阅读 · 0 评论 -
tf.nn.embedding_lookup函数以及对嵌入表示的理解
假设有一组分类,总共有5个类别,我们对所有类别进行one-hot(哑编码),则编码后[1,0,0,0,0]为类别1,[0,1,0,0,0]为类别2,[0,0,1,0,0]为类别3,[0,0,0,1,0]为类别4,[0,0,0,0,1]为类别5.若类别过多,该如何处理?我们用one-hot表示,就有可能使得训练参数过于庞大,而且不能表示不同类别之间的相似度,于是我们想到了嵌入(Embeding)方式...原创 2019-08-15 12:48:53 · 1236 阅读 · 1 评论 -
Bert文本分类run_classifier的预测模块修改
修改位置1:run_classifier.py model_fn() 函数中:源码1:else: output_spec = tf.contrib.tpu.TPUEstimatorSpec( mode=mode, predictions=probabilities, scaffold_fn=scaffold_fn)替换源码1:elif mode == tf.estimator.Mo...原创 2019-08-20 00:18:24 · 1528 阅读 · 2 评论 -
将Bert抽取语言表征模型修改为GPU运行
tf.estimator.EstimatorSpec优化器类:1.predict:只需要传入参数mode和predictions2.eval(评估模式):需要传入参数mode,loss,eval_metric_ops3.train:需要传入参数mode,loss,train_op(一):Bert抽取特征语言模型修改(GPU运行配置)修改位置1:2run_pretraining.py ma...原创 2019-08-20 00:09:34 · 4810 阅读 · 11 评论 -
tensorflow无法使用GPU
选用默认设备计算import tensorflow as tfwith tf.device('/gpu:0'):#选用默认设备(gpu:0)计算以下张量 inputs = tf.constant([1.0, 2.0, 3.0, 4.0, 5.0, 6.0], shape=[3, 2], name='b') weights = tf.constant([1.0, 2.0, 3.0...原创 2019-08-14 18:04:46 · 3067 阅读 · 0 评论 -
tf.train.Saver() 与tf.train.import_meta_graph要点
(一)tf.train.Saver()(1)tf.train.Saver() 是用来保存tensorflow训练的模型的(2)用来加载参数,注意:只加载存储在data中的权重和偏置项等需要训练的参数,其他一律不加载包括meta文件中的图也不加载(二)tf.train.import_meta_graph(1)用来加载meta文件中的图,以及图上定义的结点参数包括权重偏置项等需要训练的参数...原创 2019-08-07 00:11:49 · 13001 阅读 · 3 评论