神经网络相关名词/知识点

tensor张量
可以看做广义的矩阵
a 1-D matrix (向量)
a 3-D matrix (立方体)
a 0-D matrix (单一的数)
a higher dimensional structure (不太能可视化)
tensor的维度叫做rank.

batchSize 批尺寸
iteration 迭代，使用一个batchsize训练一次
epoch 迭代次数，使用全部样本训练一次

batchSize * iteration = 1 epoch

超参数hyperparameter
在机器学习的上下文中，超参数是在开始学习过程之前设置值的参数。 相反，其他参数的值通过训练得出。

• 超参数：
  定义关于模型的更高层次的概念，如复杂性或学习能力。
  不能直接从标准模型培训过程中的数据中学习，需要预先定义。
  可以通过设置不同的值，训练不同的模型和选择更好的测试值来决定
• 超参数的一些示例：
  树的数量或树的深度
  矩阵分解中潜在因素的数量
  学习率（多种模式）
  深层神经网络隐藏层数
  k均值聚类中的簇数

激活函数总结
其中 $z$ 为神经元输入

• linear
  $$linear(z)=z$$
• sigmoid
  $$sigmoid(z)=\frac{1}{1+e^{-z}}$$
• tanh
  $$\tanh (z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$$
• ReLu
  $$ReLu(z)=\max (0,z)$$
• LeakyReLu
  $$LeakyReLu(z)=\max (\alpha z,z)$$
• ELU (Exponential Linear Units)
  $$ELU(z)=\{\begin{array}{ll}z,& \text{ if }z>0\\ \alpha \left(e^z-1\right),& \text{ otherwise }\end{array}$$
• MaxOut层
  论文出处
  神经元计算公式
  m a x o u t i ( z ) = max ⁡ j ∈ [ 1 , k ] z i j maxout_{i}(z)