![](https://img-blog.csdnimg.cn/20200403143146672.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
实战总结
暂无
明子哥哥
学习记录笔记
展开
-
Bert实战之文本分类(附代码)
1、概要Bert 是 Google 在 2018 年 10 月提出的一种利用大规模语料进行训练的语言模型,其通过Mask LM和sentence-level这两个子任务进行预训练。2、Bert怎么用2.1 fine-tune(微调)通过加载预训练好的 Bert 模型,将我们自己任务的数据集输入给该模型,在源网络上继续训练、不断更新模型的权重,最后得到一个适用于自己任务的模型。2.2 f...原创 2019-12-16 17:44:34 · 4424 阅读 · 0 评论 -
pyspark批量生成tfrecord文件
人狠话不多,直接上代码!from pyspark import SparkConffrom pyspark.sql import SparkSessionfrom pyspark.sql import HiveContextfrom pyspark.sql import Rowfrom pyspark import SparkFilesfrom pyspark.sql.types im...原创 2020-04-30 16:46:47 · 2309 阅读 · 0 评论 -
Python多进程进行文件预处理
目录1.利用map函数2.数据分片3.文件分片1.利用map函数from multiprocessing import Pooldef process_func(line): # TODO # 处理逻辑 return resultwith open(all_file,'r') as f: lines = f.readlines()...原创 2020-04-07 19:56:12 · 839 阅读 · 0 评论 -
query纠错实战之seq2seq
TODO原创 2020-01-17 11:13:06 · 1565 阅读 · 0 评论 -
TensorFlow LSTM 优化, 不同LSTM实现的效率对比
TensorFlow LSTM benchmark深度学习库中不同LSTM实现的效率对比Tensorflow API原创 2019-12-18 11:08:29 · 1490 阅读 · 0 评论 -
tensorflow设置部分参数可训练,冻结部分参数
需求: 在利用bert进行训练时,需要指定模型中的部分参数不训练方法: 设置一个可训练的变量list代码:update_var_list = [] #该list中的变量参与参数更新tvars = tf.trainable_variables()for tvar in tvars: if "bert" not in tvar.name: update_var_list.append...原创 2019-12-16 20:04:40 · 5403 阅读 · 2 评论 -
java加载tensorflow训练的PB模型记录
java加载tensorflow训练的PB模型记录python训练1. 模型的输入输出定义2. 训练时保存模型的方法java加载模型1.maven依赖tensor注意事项:python训练1. 模型的输入输出定义# 输入:query_holder = tf.placeholder(tf.int32,[None,None],name='input_query')dropout = tf.p...原创 2019-11-20 21:11:10 · 2217 阅读 · 0 评论 -
tensorboard可视化训练之train_loss和eval_loss放在同一曲线图中
在进行模型训练时,需要同时将训练loss曲线和测试loss曲线显示在一个曲线图中,便于观察网络训练情况(是否过拟合、欠拟合)。方法:train_writer = tf.summary.FileWriter(FLAGS.log_dir+'train', sess.graph)eval_writer = tf.summary.FileWriter(FLAGS.log_dir+'eval') #注...原创 2019-11-26 11:26:32 · 6342 阅读 · 6 评论 -
Docker部署TF_serving模型记录
docker部署TF_serving模型记录一、 训练保存模型方法1.1定义模型输入输出1.2保存模型二、 利用docker部署模型启动tf_serving服务三、 python调用本文主要介绍了以tf_serving方式部署模型的方法,Java部署tensorflow的方法详见:【java加载tensorflow训练的PB模型记录】一、 训练保存模型方法1.1定义模型输入输出# 输入qu...原创 2019-11-25 11:42:04 · 928 阅读 · 0 评论 -
[tensorflow Debug]ValueError: Cannot create a tensor proto whose content is larger than 2GB
问题1:ValueError: Cannot create a tensor proto whose content is larger than 2GB.解决方法:利用placeholder以及assign方法。参考import tensorflow as tfimport numpy as npw_init = np.random.randn(2**22, 256).astype...原创 2019-11-25 18:03:41 · 741 阅读 · 0 评论