如何学习项目:
NLP涉及30多种任务
项目中涉及各种文件:因此
1.看README.md(项目自述,说明该项目)
(1)项目是干嘛的
(2)大致用什么框架
(3)所需的环境
(4)数据集的介绍
(5)个别文件的作用
2.一定要找到哪个文件是项目入口
3.看数据集
小知识:python中的debug
1.第一个是简单粗暴的下一步
2.第二个是进入系统底层方法的下一步
3.第三个是只能进入自己写的方法的下一步
4.左侧是同时打两个断点进行跳跃,跳过不想运行的部分。
注意:
debug 断点不要打在方法名、类名上
不要打在if,else判断上,因为有可能进不去。
小知识:
torch.save(model,)
saver = tf.train.Saver()
一、数据处理部分
1.读取数据并进行处理
2.构建词汇表并保存
3.把构建label_to_id,word_to_id
4.把文本变成下标,句子的填充(因为句子长短不一)
5.批量
6.随机打乱顺序
二、模型处理部分
1.获取模型参数,并定义占位符
2.embedding层/向量化层
3.定义模型结构层,得到预测值h
4.有了h之后,就可以和y构建损失函数
5.优化器
6.评估方法