TensorFlow
TensorFlow
还卿一钵无情泪
虚空界尽 众生界尽 众生业尽 众生烦恼尽 我此愿望无有穷尽 念念相续 无有间断 身语意业 无有疲厌
展开
-
TensorFlow BERT fine-tune 训练中断解决办法 或 使用开源模型继续fine-tune 参数配置
TensorFlow bert模型中断后如何继续训练原创 2022-07-11 19:33:17 · 767 阅读 · 0 评论 -
TensorFlow estimator详解
1.框架Estimator是属于High level的APIMid-level API分别是 —— Layers:用来构建网络结构、Datasets: 用来构建数据读取pipeline、Metrics:用来评估网络性能2.使用创建一个或多个输入函数,即input_fn定义模型的特征列,即feature_columns实例化 Estimator,指定特征列和各种超参数在 Estimator 对象上调用一个或多个方法,传递适当的输入函数作为数据的来源。(train, eva.转载 2021-01-21 10:45:22 · 886 阅读 · 0 评论 -
conda创建tensorflow虚拟环境的基本操作
创建tensorflow环境输入conda create -n (环境名称) python=3.5(python必须3.5或3.6,3.6以上版本tensorflow可能会报错)查看环境 conda env list例 conda create -npython36 python=3.6, 激活 source activate python36例 conda create -ntensorflow python=3.6,激活 source activate tensorflow写...原创 2021-01-05 10:27:30 · 993 阅读 · 0 评论 -
TensorFlow Serving 安装 和 部署模型
由于是tensorflow 1.9.0,tensorflow 2.0的那套简便的方法就用不了大体思路:首先export model,准备计算图的代码,将保存的参数restore进入计算图; 然后调用export model的方法,导出模型 模型导出之后就直接拉取tensorflow serving的镜像然后创建,这里注意如果是tensorflow-serving-1.x.0的镜像,docker run之后就直接可以访问容器服务,tensorflow-serving-1.x.0-devel的镜像需原创 2020-11-27 20:48:25 · 1516 阅读 · 0 评论 -
TensorFlow Guide
TensorFlow Guide 官方参考文档https://www.w3cschool.cn/doc_tensorflow_guide/转载 2020-11-25 15:56:28 · 102 阅读 · 0 评论 -
BERT TensorFlow 训练和调试 (shell)
内存60G,20核max_seq_length 和 train_batch_size 再大会OOM训练和验证shellexport DATA_DIR='/xx/xx/bert'export BERT_BASE_DIR='/xx/xx/chinese_L-12_H-768_A-12'python run_classifier.py \ --task_name=organ_grid \ --do_train=true \ --do_eval=true \ -...原创 2020-08-26 16:43:22 · 532 阅读 · 0 评论 -
TensorFlow 运行模型时生成的各个文件含义
运行模型时生成的各个文件events.out.tfevents.*...: 保存的就是你的accuracy或者loss在不同时刻的值。graph.pbtxt: 这其实是一个文本文件,保存了模型的结构信息checkpoint: 其实就是一个txt文件,存储的是路径信息model.ckpt-*.meta: 其实和上面的graph.pbtxt作用一样都保存了graph结构,只不过meta文件是二进制的,它包括 GraphDef,SaverDef等,当存在meta file,我们可以不在文件中定义模原创 2020-08-26 14:13:37 · 1359 阅读 · 0 评论 -
开源中文词向量加载(训练好的词向量如何加载) tensorflow
中文词向量下载 https://github.com/Embedding/Chinese-Word-Vectorsreadline() 方法:fileObject.readline()用于从文件读取整行,包括 "\n" 字符。如果指定了一个非负数的参数,则返回指定大小的字节数,包括 "\n" 字符fo = open("runoob.txt", "r+")line = fo.readline()split() 方法:str.split(str="", num=st...原创 2020-08-24 12:48:52 · 1597 阅读 · 0 评论 -
TensorFlow tf.metrics accuracy precision recall 二分类和多分类(TensorFlow 自带没有多分类指标)
平时用的评价指标tf.metrics.accuracy()tf.metrics.precision()tf.metrics.recall()需要注意:tf.metrics 不支持precision/recall/f1多分类效果指标的计算,其中为二分类指标计算二分类precision/recall效果指标,可通过如下实现方式:def metric_fn(per_example_loss, label_ids, logits): predictions = tf..原创 2020-08-26 11:31:32 · 2576 阅读 · 0 评论 -
TensorFlow导入公开中文词向量
中文词向量下载 https://github.com/Embedding/Chinese-Word-Vectorsreadline() 方法:fileObject.readline()用于从文件读取整行,包括 "\n" 字符。如果指定了一个非负数的参数,则返回指定大小的字节数,包括 "\n" 字符fo = open("runoob.txt", "r+")line = fo.readline()split() 方法:str.split(str="", num=st...原创 2020-08-23 10:11:40 · 529 阅读 · 0 评论 -
用自己电脑远程访问服务器TensorFlow 的Tensorboard
自己电脑Windows系统服务器centos系统首先要在服务器运行TensorFlow,已经有图(graph),存在这个路径 'logs/'import tensorflow as tfwirter = tf.summary.FileWriter('logs/',sess.graph)sess = tf.Session()注意路径可以自定义 wirter = tf.summary.FileWriter('logs/',sess.graph)在服务器上运行,注意和之前路..原创 2020-08-17 15:14:42 · 568 阅读 · 0 评论 -
Tensorflow GPU安装 和 命令
GPU版本需要Anaconda对应于Python2和Python3,Anaconda也有两种版本,分别为Anaconda2和Anaconda3查看硬盘大小、剩余空间、文件夹大小df -h 、df data、df work、df 文件夹名清华源https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/下载Anaconda文件例如 Anaconda2-5.2.0-Linux-x86_64.sh, 安装 bash Anaconda2原创 2020-08-12 12:24:45 · 1233 阅读 · 0 评论