Python深度学习读书笔记

keras compile需要三个参数：
1.损失函数（loss）
2.优化器（optimizer)
3.训练和测试过程中需要监控的指标 (metric)

张量：
标量（0D张量）
向量（1D张量）
矩阵（2D张量）
张量是矩阵向任意维度的推广（注意，张量的维度（dimension)也叫做轴(axis))

x = np.array([1,2,3],[4,5,6])
>>>x.ndim
2

张量的关键属性
（1）轴的个数（阶），在numpy等python库中也叫做ndim
（2）形状，向量的形状只包含一个元素，如（5，），而标量的形状为空，即（）
（3）数据类型（在python库中通常叫做dtype，可以是float32,float64,uint8等，注意numpy中不存在字符串张量，因为张量存储在预先分配的连续内存段当中，而字符串的长度是可变的，无法用这种方式存储。

图像张量的形状有两种约定，通道在后（在tensorflow中使用），如：（sample,height,width,color_depth)，通道在前（在theano中使用），如（sample,color_depth,height,width)

广播
如果两个形状不同的张量相加，较小的张量会被广播（broadcast),以匹配大的张量，分为如下两个步骤：
（1）较小张量添加新轴（叫做广播轴），使得ndim与大张量相同
（2）将较小的张量沿着新轴重复，使其形状与大张量相同

张量点积(dot)
张量变形（reshape),转置（transpose）
张量运算的几何解释
通常来书，仿射变化，旋转，缩放等基本几何操作都能表示为张量的运算

导数、梯度、随机梯度下降这儿讲得还可以
沿着梯度的反方向更新权重，损失每次都会小一点
斜率a被称为在p点的导数，如果a为负的，说明x在p点的微小变化将导致f(x)减小，如果a为正的，说明x在p点的微小变化将导致f(x)增大，此外a的绝对值（导数大小）将表示增大或者减小的速度快慢
那么如果你想要把x改变一个小因子episilon_x，目的是将f(x)最小化，所以只需要把x往导数的反方向移动一小步即可

w-=step*gradient
step也叫做学习率

如何使用Keras fit和fit_generator（动手教程）

keras里面有一个内置函数，可以实现one hot编码，即

from keras.utils.np_utils import to_categorical
one_hot_train_labels = to_categorical(train_labels)

否则就只能手动实现

def to_one_hot(labels,dimension):
    results = np.zeros(len(labels),dimension)
    for i,label in enumerate(labels):
    	results[i,label]=1
    return results
one_hot_train_labels = to_one_hot(train_label,class_num)

当标签的编码方式不是one hot而是整数时，所用到的损失函数是sparse_categorical_entropy而不是categorical_entropy，但在数学上是完全相同的，只是二者的接口不同。

numpy数据输入标准化

mean = train_data.mean(axis=0)
train_data -= mean
std = train_data.std(axis=0)
train_data /= std

test_data -= mean
test_data /= std

第四章
自监督学习也可被重新解释为监督学习或者无监督学习，这取决于你关注的是学习机制（监督，没有人工标注的标签，但是标签依旧存在，由输入数据根据启发式算法生成的）还是应用场景（无监督）。