keras学习笔记

• 张量 tensor
  使用这个词汇的目的是为了表述统一，张量可以看作是向量、矩阵的自然推广，我们用张量来表示广泛的数据类型。

  0阶张量，即标量，也就是一个数。
  一些数有序的排列起来，就形成了1阶张量，也就是一个向量。
  一组向量有序的排列起来，就形成了2阶张量，也就是一个矩阵。

  张量的阶数有时候也称为维度，或者轴，轴这个词翻译自英文axis。譬如一个矩阵[[1,2],[3,4]]，是一个2阶张量，有两个维度或轴，沿着第0个轴（为了与python的计数方式一致，本文档维度和轴从0算起）你看到的是[1,2]，[3,4]两个向量，沿着第1个轴你看到的是[1,3]，[2,4]两个向量。

• batch
  梯度下降参数更新两种方法：

第一种，遍历全部数据集算一次损失函数，然后算函数对各个参数的梯度，更新梯度。这种方法每更新一次参数都要把数据集里的所有样本都看一遍，计算量开销大，计算速度慢，不支持在线学习，这称为Batch gradient descent，批梯度下降。

另一种，每看一个数据就算一下损失函数，然后求梯度更新参数，这个称为随机梯度下降，stochastic gradient descent。这个方法速度比较快，但是收敛性能不太好，可能在最优点附近晃来晃去，hit不到最优点。两次参数的更新也有可能互相抵消掉，造成目标函数震荡的比较剧烈。

mini-batch gradient decent，小批的梯度下降，这种方法把数据分为若干个批，按批来更新参数，这样，一个批中的一组数据共同决定了本次梯度的方向，下降起来就不容易跑偏，减少了随机性。另一方面因为批的样本数与整个数据集相比小了很多，计算量也不是很大。

• epochs
  epochs指的就是训练过程中数据将被“轮”多少次

• Generator （生成器）函数
  当调用Generator函数的时候，该函数并不执行，而是返回一个遍历器（可以理解成暂停执行）。通过调用next()开始执行，遇到yield停止执行，返回一个value属性值为当前yield语句的值，done属性为false的对象，循环调用next()，一直执行到return语句（如果没有return语句，就执行到函数结束）。

• 匿名函数（lambda）
  指：是指一类无需定义标识符（函数名）的函数或子程序。

lambda 函数可以接收任意多个参数 (包括可选参数) 并且返回单个表达式的值。lambda 函数不能包含命令，包含的表达式不能超过一个。不要试图向 lambda 函数中塞入太多的东西；

g = lambda x:x*x
print g(4)
print (lambda x:x*x)(4)

机器学习中的目标函数、损失函数、代价函数:

简单理解：每一个算法都有一个目标函数（objective function），算法就是让这个目标函数达到最优。对于分类的算法，都会有对错。错了就会有代价，或者说是损失。分类算法的目标就是让它错的最少，也就是代价最小。所以对于分类算法，它的目标函数就是代价函数（cost function），或者是损失函数（loss function）。