tenforflow
junjie20082008
这个作者很懒,什么都没留下…
展开
-
tensorflow读取数据部分
以往在传统模型训练,在处理比较小的数据的时候,我们的都是一次性加载进内存,然后再分batch灌给模型,但是数据量特别大的时候,这种方法就不太现实了,tensorflow针对大数据量输入模型部分,提供了几种方法:1、To process lines from files, usetf.data.TextLineDataset:dataset = tf.data.TextLineDataset(["file1.txt", "file2.txt"])2、To process records ..原创 2020-05-19 15:18:43 · 350 阅读 · 0 评论 -
tensorflow 评估指标中F1,AUC的计算
AUC计算的函数:tf.metrics.auc( labels, predictions, weights=None, num_thresholds=200, metrics_collections=None, updates_collections=None, curve='ROC', name=None, summation_method='trapezoidal')函数返回值: auc: A scalarTen.原创 2020-05-10 23:25:05 · 5964 阅读 · 0 评论 -
用python3的_pickle读取python2 cPickle保存的数据时出现UnicodeDecodeError: 'ascii' codec can't decode byte 0x8b
用python3的_pickle读取python2 cPickle保存的数据时出现这个问题,只需要指定编码encoding='iso-8859-1’,OKimport picklewith open("my.pkl",'rb') as f: pkl_data = pickle.load(f, encoding='iso-8859-1')...原创 2020-04-30 15:41:51 · 198 阅读 · 0 评论 -
bert 分布式优化
如何实现多GPU并发:goole提供的BERT源码使用TPUEstimator实现的,TPUEstimator支持多TPU并发但不支持多GPU并发。为了能支持多GPU并发充分利用GPU资源提高效率,对BERT做一下修改:1、使用optimization_multigpu.py替换optimization.py,执行一下命令 cp optimization.py optim...转载 2020-03-31 14:20:52 · 945 阅读 · 1 评论 -
基于bert的文本表征向量embedding模型由ckpt转成pb
# -*- coding: utf-8 -*-"""Created on Sun Apr 28 10:20:04 2019@author: wumingshi"""#import contextlibimport jsonimport osfrom enum import Enumfrom termcolor import coloredimport sysimport...原创 2020-02-29 23:10:11 · 903 阅读 · 0 评论 -
TensorFlow saved_model 模块
https://blog.csdn.net/thriving_fcl/article/details/75213361原创 2020-02-18 15:21:06 · 145 阅读 · 0 评论 -
Bert源码解读
目前看到bert解读最好的是:https://blog.csdn.net/jiaowoshouzi/article/details/89388794原创 2020-02-14 14:53:05 · 141 阅读 · 0 评论 -
bert推理速度太慢的解决方案[用于生成表征向量]
思路借鉴:https://blog.csdn.net/hezhefly/article/details/98877796,再次表示感谢本文的用途是基于bert的表征向量的生成基于上面的文章的分类预测思路,修改成了基于bert 的表征向量生成,其中表征向量以最后一层CLS的向量表示,也可以取最后一层的所有token的平均,或者取倒数第二层的所有tokens的平均(倒数第二层不那么接近任务,但...原创 2020-02-12 19:58:08 · 2924 阅读 · 1 评论 -
关于bidirectional_dynamic_rnn出现 Dimensions of inputs should match问题
在搭建双向BIRNN模型的时候,调用tensorflow自动展开函数bidirectional_dynamic_rnn(cell_fw, cell_bw, data, dtype=tf.float32)时候出现异常:InvalidArgumentError (see above for traceback): ConcatOp : Dimensions of inputs should match...原创 2019-01-04 11:03:43 · 4418 阅读 · 5 评论