![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
深度学习
233彭于晏
勤勤恳恳搬砖工,让我们手牵手打代码~
展开
-
ALBERT真的瘦身成功了吗?
前言最近在项目中使用BERT更新了服务久矣的TextCNN,但更新之路较为崎岖。线下验证BERT-Base版本较TextCNN提高较为明显,但是推到线上,Inference时间爆炸了;无奈,只好减少Transformer层数,由12层减少到4层,由于此项目场景下的Input较短,所以使用4层Transformer并没有太多效果层的损失,性能上Inference时间减少了2.3倍,后面又将服务由...原创 2020-01-15 21:30:20 · 840 阅读 · 2 评论 -
tf.layers.conv1d函数解析(一维卷积)
1 功能一维卷积一般用于处理文本数据,常用语自然语言处理中,输入一般是文本经过embedding的二维数据。2 定义tf.layers.conv1d(inputs,filters,kernel_size,strides=1,padding='valid',data_format='channels_last',dilation_rate=1,activation=No...原创 2019-04-03 14:32:00 · 18967 阅读 · 6 评论 -
tensorflow使用tf.estimator限制gpu显存
tf.estimator是tensorflow的高阶api,使用下面代码可以实现限制显存,0.8代表使用80%的显存。session_config = tf.ConfigProto(log_device_placement=True,allow_soft_placement=True)session_config.gpu_options.per_process_gpu_memory_fra...原创 2019-08-21 11:50:47 · 1863 阅读 · 2 评论