前言
- tensor2tensor(t2t)是google基于tensorflow新开源的深度学习库,该库将深度学习所需要的元素(数据集、模型、学习率、超参数等)封装成标准化的统一接口,在使用其做模型训练时可以更加的灵活。
当前环境
- mac 10.13.3
- tensorflow 1.6.0
- tensor2tensor 1.5.5
安装模块
- 源码下载:https://github.com/tensorflow/tensor2tensor
- sudo pip install tensorflow==1.6.0
- sudo pip install tensor2tensor==1.5.5
开启学习之旅
在下载的源码中有自带的一些简单的测试样例。如mnist,,可以参考https://github.com/tensorflow/tensor2tensor/blob/master/tensor2tensor/notebooks/hello_t2t.ipynb
来做初步的了解。
同时t2t支持自定义的样本数据和自定义的参数配置,下面以我自定义了一个训练样本开始介绍。
已将下述的代码上传:https://download.csdn.net/download/csa121/10672326
根据下述的介绍也可以自己搭建一个环境的。
0.目录结构
因为有需要注意的点,先看下我自定义样本的目录结构:
decoder:预测要用到的目录
rawdata:原始样本存放的目录
self_data:原始样本格式化后存放的目录
self_script:自定义problem脚本存放的目录
train:训练出来的模型和导出的模型存放的目录
注:只是为了后续介绍的更清楚才说明的目录结构,不是t2t要求的目录结构。
1.需求
训练一些评论和标签样本,生成一个模型,可以给新的评论打一个标签
2.样本
评论样本 rawdata/q.txt:
内容很多很棒
好老师!有耐心!培养孩子兴趣!赞一个
课程很精彩,老师会结合自身作为案例进行分享
老师很幽默
老师的能力值得肯定
喜欢上老师的数学课
老师上课气氛特别好
每次听完老师的课都觉得让自己又丰富了许多
挺善于沟通的,比