清园暖歌的博客

梯度就是所有偏微分一起综合考虑如下图感受梯度，那么梯度如何帮助我们搜索 loss 的最小值呢？也就是把当前的参数值，沿梯度相反的方向行进更新来看一个实例：y 的输出out 是None，因为 y=x*w 没有被包在 tf.GradientTape()但上述的方法只能求解一次，求解完就会自动释放掉相关的资源如果要调用两次的话，就需要调用 persistent 的功能二阶求导：代码：chapter03：TF02-2nd_derivative.py。

导入的格式是个 numpy 的api，所以可以直接 x.min()，不然 tensor 中是 tf.reduce_min。因为 cifar 大小非常小，所以图片会模糊，真实大小是 [32, 32, 3]x_test，y_test 为测试集：[10k, 32, 32]，[10k, 1]x_test，y_test 为测试集：[10k, 28, 28]，[10k, ]x，y 为训练集：[50k, 32, 32]，[50k, 1]x，y 为训练集：[60k, 28, 28]，[60k, ]

用一个嵌套来生成坐标，（-2，2，5）：从-2到2，间隔5个点，保存到list中，再转换成array格式，但这是用 numpy 实现的，无法用 gpu 加速，无法和tensor深度结合一起。如上，unstack 将 [2,4,35,8] 拆分成了 8个 [2,4,35]，而如果要拆分成2个 [2,4,35,4] 就要用到。要更新的话，首先要把要更新的一部分值取出来更新到底版上，得到A‘，A-A' 就会把要更新的一部分值清零，就是一个 clear 的操作。列的左边添加1行，右边添加1行。

如下，[4， 28， 28， 3]，低于第一个28，我们不直接从A到B取索引，而是单独取其中的第3，27，9，13行，这就是切片indices，就用到了gather的功能，这里是取了4行，gather也就是收集的意思。如果 a，b 的 tensor 的 维度 dimension 不一致，如 [4,16,16,32] 和 [32] 相加，首先要把小维度对齐，左边大右边小，往前延伸插入维度，再把每个维度对齐，把1扩张为4，16。而下一种情况是对学生0的成绩都加5分，就是把每个班级前两个学生的每个科目都加5分。

也可以编码成维度一样的，如北京就是 [1, 0, 0] ， 其他 [0, 1, 0] ，[0, 0, 1]activity_regularizer：施加在输出上的正则项 (详见API的regularizer)kernel_regularizer：施加在权重w上的正则项 (详见API的regularizer)bias_regularizer：施加在偏置向量b上的正则项 (详见API的regularizer)bias_constraint：施加在偏置b上的约束项 (详见API的constraints)