google的tensor2tensor的学习和使用

前言

• tensor2tensor（t2t）是google基于tensorflow新开源的深度学习库，该库将深度学习所需要的元素（数据集、模型、学习率、超参数等）封装成标准化的统一接口，在使用其做模型训练时可以更加的灵活。

当前环境

• mac 10.13.3
• tensorflow 1.6.0
• tensor2tensor 1.5.5

安装模块

• 源码下载：https://github.com/tensorflow/tensor2tensor
• sudo pip install tensorflow==1.6.0
• sudo pip install tensor2tensor==1.5.5

开启学习之旅

在下载的源码中有自带的一些简单的测试样例。如mnist,，可以参考https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb
来做初步的了解。

同时t2t支持自定义的样本数据和自定义的参数配置，下面以我自定义了一个训练样本开始介绍。

已将下述的代码上传：https://download.csdn.net/download/csa121/10672326
根据下述的介绍也可以自己搭建一个环境的。

0.目录结构

因为有需要注意的点，先看下我自定义样本的目录结构：

decoder：预测要用到的目录
rawdata：原始样本存放的目录
self_data：原始样本格式化后存放的目录
self_script：自定义problem脚本存放的目录
train：训练出来的模型和导出的模型存放的目录

注：只是为了后续介绍的更清楚才说明的目录结构，不是t2t要求的目录结构。

1.需求

训练一些评论和标签样本，生成一个模型，可以给新的评论打一个标签

2.样本

评论样本 rawdata/q.txt：

内容很多很棒
好老师！有耐心！培养孩子兴趣！赞一个
课程很精彩，老师会结合自身作为案例进行分享
老师很幽默
老师的能力值得肯定
喜欢上老师的数学课
老师上课气氛特别好
每次听完老师的课都觉得让自己又丰富了许多
挺善于沟通的,比