NLP学习D2-TF2基础学习-北大教程

今天主要学tf2和动手实践；如果有时间，看下Transformer系列的细节！！加油！

一、环境配置

老师很贴心，带着装环境。
1、我建个github仓库~
2、设置了一个conda的默认清华镜像
参考链接：
https://blog.csdn.net/CV_YOU/article/details/83098414
3、环境配置
python3.7

二、chap1

装环境的时候看看课程
（一）、1.1三学派
1、三类
（1）行为主义
感知-动作控制系统？？？机器人单脚站立，感知方向，控制动作，保持平衡
（2）符号主义
公式
（3）连接主义
连接感知
2、步骤
准备数据；
搭建网络；
优化参数：训练，反向传播
应用网络：保存模型，进行前传预测

（二）1.2神经网络设计过程
1、鸢尾花种植者并不需要严格的if判断（逻辑判断），而是通过感知，也就是我们可以用神经网络模拟的东西。
2、基础概念
损失函数-SME均方误差
优化参数=梯度下降+反向传播
3、跑代码【c1-c13】
测试不同的学习率情况
过小：很慢
过大：摇摆，找不到最优值

（三）1.3张量生成
1、什么是张量？
0维数组-数字
1-向量
2-矩阵
±张量
2、数据类型
tf.int, tf.float,tf.bool,tf.string
3、如何用tf创建张量？
tf.cosntant(张量内容，dtype =数据类型)
例如：
a = tf.constant([1,5],tf.int64)

ps：
通过a.shape可以查看形状，有几个点，就是几维张量
4、如何将numpy转换为tf的数据类型？
tf.convert_to_numpy(数据名,dtype=)
例子：
c1p18
5、自己创建张量
tf.zeros(维度)
tf.ones(dim)
tf.fill(dim,value)
括号中：
一维：个数
二维：[行，列]
多维：[n,m,j,k…]
6、如何初始化参数呢？
正态分布随机数
tf.random.normal(dim,mean,stddev=标准差)
tf.random.truncated_normal(dim,mean,stddev=)
均匀分布随机数—左闭右开
tf.random.uniform(dim,minval=,maxval)

1.4TF2常用函数
1、axis如何理解呢？0代表什么？
0是指第一维度；
一般0是纵向；1是横向
2、如何标记带训练参数?
tf.Variable(初始值)
例如：
w = tf.Variable(tf.random.normal([2,2],mean=0.stddev=1))
3、加减乘除函数
tf.add( , )
tf.substract(,)
tf.multiply(,)对应相乘，不是矩阵乘法哦
tf.divide(,)
只有维度相同才可以做四则运算，就是要一个对应一个
4、平方、次方、开方函数？
tf.square( 张量)
tf.pow(张量，n次方)
tf.sqrt(张量)
5、矩阵乘法函数？
tf.matmul(矩阵1，矩阵2)
都说明了是矩阵的乘法哦

ps：在用tf定义张量时，【】里面有几个数就是几维，数的大小对应该维度数的个数。
但是用shape查看形状时，逗号个数和维度是对应的；
用print时，'[[[['个数和维度对应，比如像左边四个‘['代表四维。

------------现在时8：55，刚刚去了下校医院看膝盖，前两天跑步跑伤了，排号的时候，把chap1看完了，总结一下，可以开始看代码了。
把最后项目的代码，看着注释敲一下，然后最后要到没有注释自己心中有框架的地步。
1.5常用函数1
1、求导的函数？
这里用了一个with结构，需要查一下用法
【查的时候突然想起来给师弟看gitee上代码问题，发现之前传错了，弄到了9：26】
with应该是避免异常的：
而使用with的话，能够减少冗长，还能自动处理上下文环境产生的异常。
https://www.cnblogs.com/sddai/p/14411906.html
比较清楚了

https://blog.csdn.net/youzhouliu/article/details/80976004?spm=1001.2101.3001.6661.1&utm_medium=distribute.pc_relevant_t0.none-task-blog-2%7Edefault%7ECTRLIST%7Edefault-1.pc_relevant_default