baopapa的博客

解决办法：将脚本参数调制256以上的size便可运行，具体为什么梯度为零有待学习。1、文件中设置了生成图片大小为256，但是自己写的脚本文件运行为128。问题：代码不支持128大小图片的训练，会出现有的梯度为0的情况。报错：输入值为空类型而非Tensor。

当图片大小不大，但是想用更深的卷积层，就需要用到填充。

对全连接层使用平移不变性和局部性的到卷积层。

将输入的一张图片分成红黄蓝三张带有像素点值的图片，并将每个像塑从头排列成向量x，因为有三张图片，所以x的里的数据就有3。对于逻辑回归函数，一般输出值使用1/1+e^(-z)函数（sigmoid函数），这样能保证输出值被压缩在0-1之间。x为nx的特征向量，y的输出范围是{0，1}。下图为检测图片是否为小猫的例子。

求导是几乎所有深度学习优化算法的关键步骤。虽然求导的计算很简单，只需要一些基本的微积分。但对于复杂的模型，手工进行更新是一件很痛苦的事情（而且经常容易出错）。深度学习框架通过自动计算导数，即自动微分（automatic differentiation）来加快求导。实际中，根据我们设计的模型，系统会构建一个计算图（computational graph）， 来跟踪计算是哪些数据通过哪些操作组合起来产生输出。自动微分使系统能够随后反向传播梯度。

标量由只有一个元素的张量表示。

对于inputs中的类别值或离散值，我们将“NaN”视为一个类别。由于“巷子类型”（“Alley”）列只接受两种类型的类别值“Pave”和“NaN”， pandas可以自动将此列转换为两列“Alley_Pave”和“Alley_nan”。巷子类型为“Pave”的行会将“Alley_Pave”的值设置为1，“Alley_nan”的值设置为0。注意，“NaN”项代表缺失值。为了处理缺失的数据，典型的方法包括插值法和删除法， 其中插值法用一个替代值弥补缺失值，而删除法则直接忽略缺失值。在这里，我们将考虑插值法。

张量的加减乘除：求幂的一元运算符：张量连接，沿着0轴连接，就是按行堆起来，沿着1轴，就是按列连起来：通过逻辑运算符构建二元张量：对张量中的所有元素进行求和，会产生一个单元素张量：用于形状不同的张量执行元素操作，通过适当复制元素来扩展一个或两个数组， 以便在转换之后，两个张量具有相同的形状，a和b分别是3x1和1x2矩阵，如果让它们相加，它们的形状不匹配。 我们将两个矩阵广播为一个更大的3x2矩阵，矩阵a将复制列，矩阵b将复制行，然后相加：张量中的元素可以通过索引访问。 与任何Python数

我们可以创建一个形状为（2,3,4）的张量，其中所有元素都设置为0。们还可以通过提供包含数值的Python列表（或嵌套列表），来为所需张量中的每个元素赋予确定值。在这里，最外层的列表对应于轴0，内层的列表对应于轴1。使用randn函数随机采样。其中的每个元素都从均值为0、标准差为1的标准高斯分布（正态分布）中随机采样。同样，我们可以创建一个形状为(2,3,4)的张量，其中所有元素都设置为1。其中2，3，4可以理解为这个张量里有两组数据，每组有3行，没行有4列。轴0对应张量的每一行，轴1对张量的每一页。

张量表示由一个数值组成的数组，这个数组可能有多个维度。具有一个轴的张量对应数学上的向量（vector）；具有两个轴的张量对应数学上的矩阵（matrix）；具有两个轴以上的张量没有特殊的数学名称。

上面三个是三种规模下的深度学习，深度学习随着规模的增大，性能也能随着增大。（规模可以是数据量也可以是神经网络层数）神经网络同时在图像识别、自动驾驶、语言翻译、广告投放等已经有了成功的应用。红线为传统机器学习，性能提升到一定程度就会出现瓶颈。传统的机器学习性能有一定的限制。ReLU函数（修正线性单元）