机器学习常见的一些中英名词

全联通网络 full connected networks
部分联通网络 locally connected networks
连接区域 contiguous groups
视觉皮层 visual cortex

神经元 neuron
神经网络 neural networks
输入层 input layer
隐含层 hidden layer
输出层 output layer
激活 active
抑制 inactive
偏置项 bias term

平均活跃度 the average activation
平均激活率 average firing rate

预训练 pre-training
特征 features
一阶特征 first-order features
二阶特征 second-order features
更高阶特征 higher-order features
样例 example
过拟合 over-fitting
微调 fine-tune
长尾 long tail

Softmax回归 Softmax regression
logistic回归 logistic regression
最小二乘法 least squares
监督学习 supervised learning
无监督学习 unsupervised learning
深度学习 deep learning
截距项 intercept term
二元分类 binary classification
类型标记 class labels
多元分类 multi-class classification
权重衰减 weight decay

梯度 gradient
共轭梯度 conjugate gradient
梯度的弥散 diffusion of gradients
梯度下降 gradient descent
共轭梯度法 conjugate gradient methods
批量梯度上升法 batch gradient ascent
收敛速度 the rate of convergence
局部最优解 local optima
平凡解 trivial answer

正向传播 forward propagation
反向传播 backpropagation
训练样本 training examples
激活函数 activation function
目标函数 objective function
损失函数 loss function
代价函数 cost function

双曲正切函数 tanh function
S型激励函数 sigmoid activation function
tanh激励函数 tanh function
线性激励函数 linear activation function
恒等激励函数 identity activation function


前向传播 forward propagation
前馈神经网络 feedforward neural network
后向传播 backpropagation
反向传播算法 backpropagation algorithm
（批量）梯度下降法 (batch) gradient descent
（整体）代价函数 (overall) cost function

白化 whitening
冗余 redundant
方差 variance
平滑 smoothing
降维 dimensionality reduction
正则化 regularization
反射矩阵 reflection matrix
去相关 decorrelation
主成分分析 principal components analysis (PCA)
独立成分分析 independent component analysis (ICA)
直流分量 DC component
局部均值消减 local mean subtraction
消减归一化 sparse autoencoder
缩放 rescaling
逐样本均值消减 per-example mean subtraction
特征标准化 feature standardization

零均值化 zero-mean
均值 mean value
特征值 eigenvalue
特征向量 eigenvector
对称半正定矩阵 symmetric positive semi-definite matrix
数值计算上稳定 numerically reliable
正交化 orthogonalization
特征基向量 basis feature vectors
降序排列 sorted in decreasing order
奇异值 singular value
奇异向量 singular vector
向量化 vectorization
矢量化 vectorization

稀疏性 sparsity
稀疏性参数 sparsity parameter
稀疏自编码 sparse autoencoder
线性解码器 Linear Decoders
稀疏惩罚 sparsity penalty
稀疏代价 sparsity cost
拓扑稀疏编码 topographic sparse coding
超完备基 over-complete basis
标准正交基 orthonormal basis
不完备基 under-complete basis
线搜索算法 line-search algorithm
拓扑秩序 topographically ordered
拓扑代价项 topographic cost term

范式 norm
范数约束 norm constrained
二次约束 quadratic constraints
有界范数 norm bounded

规则化（正则化） regularization
贝叶斯规则化方法 Bayesian regularization method
高斯先验概率 Gaussian prior
先验分布 the prior distribution
先验概率 prior probability
极大后验估计 max a posterior
极大似然估计 maximum likelihood estimation
经验分布函数 the empirical distribution

单位激励函数 identity activation function
平方函数 square function
分组矩阵 grouping matrix
特征矩阵 feature matrix
权重矩阵 weight matrix
权重衰减 weight decay
退化 degeneracy
高斯白噪音 Gaussian white noise
加性噪声 additive noise

缺位错误 off-by-one error
数值检验 numerically checking
数值舍入误差 numerical roundoff errors
组合扩展 unrolling
Hessian矩阵 Hessian matrix
牛顿法 Newton's method
步长 step-size