tensor张量
可以看做广义的矩阵
a 1-D matrix (向量)
a 3-D matrix (立方体)
a 0-D matrix (单一的数)
a higher dimensional structure (不太能可视化)
tensor的维度叫做rank.
batchSize 批尺寸
iteration 迭代,使用一个batchsize训练一次
epoch 迭代次数,使用全部样本训练一次
batchSize * iteration = 1 epoch
超参数hyperparameter
在机器学习的上下文中,超参数是在开始学习过程之前设置值的参数。 相反,其他参数的值通过训练得出。
- 超参数:
定义关于模型的更高层次的概念,如复杂性或学习能力。
不能直接从标准模型培训过程中的数据中学习,需要预先定义。
可以通过设置不同的值,训练不同的模型和选择更好的测试值来决定 - 超参数的一些示例:
树的数量或树的深度
矩阵分解中潜在因素的数量
学习率(多种模式)
深层神经网络隐藏层数
k均值聚类中的簇数
激活函数总结
其中 z z z 为神经元输入
- linear
l i n e a r ( z ) = z linear(z)=z linear(z)=z - sigmoid
s i g m o i d ( z ) = 1 1 + e − z sigmoid(z)=\frac{1}{1+e^{-z}} sigmoid(z)=1+e−z1 - tanh
tanh ( z ) = e z − e − z e z + e − z \tanh (z)=\frac{e^{z}-e^{-z}}{e^{z}+e^{-z}} tanh(z)=ez+e−zez−e−z - ReLu
R e L u ( z ) = max ( 0 , z ) ReLu(z)=\max (0, z) ReLu(z)=max(0,z) - LeakyReLu
L e a k y R e L u ( z ) = max ( α z , z ) LeakyReLu(z)=\max (\alpha z, z) LeakyReLu(z)=max(αz,z) - ELU (Exponential Linear Units)
E L U ( z ) = { z , if z > 0 α ( e z − 1 ) , otherwise ELU(z)=\left\{\begin{array}{ll}{z,} & {\text { if } z>0} \\ {\alpha\left(e^{z}-1\right),} & {\text { otherwise }}\end{array}\right. ELU(z)={ z,α(ez−1), if z>0 otherwise - MaxOut层
论文出处
神经元计算公式
m a x o u t i ( z ) = max j ∈ [ 1 , k ] z i j maxout_{i}(z)