机器学习术语记录，持续更新.......

机器学习术语记录，持续更新…

1.ensemble learning 集成学习
2.multi-classifier system 多分类器系统
3.multi-layered perceptron 多层感知机
4.Random Forest 随机森林
5.re-weighting 重赋权法
6.bagging
7.偏差-方差
8.simple averaging 简单平均法
9.weighted averaging 加权平均法 [在个体学习器性能相差较大时适合使用加权平均法，相近时适合使用简单平均法]
10.voting 投票法
11.majority voting 绝对多数投票法
12.plurality voting 相对多数投票法
13.weighted voting 加权投票法
14.hard voting 硬投票
15.soft voting 软投票
16.error-ambiguity decomposition 误差-分歧分解
17.correlation coefficient 相关系数
18.Bagging 【Booting主要关注降低偏差，Bagging主要关注降低方差】
19.AdaBoost
20.stable base learner 稳定基学习器 【线性学习器、支持向量机、朴素贝叶斯、K近邻学习器】
21.random subspace 随机子空间
22.GradientBoosting
23.ensemble pruning 集成修剪【删除一些个体学习器减小模型存储开销喝预测时间】
24.unsupervised learning 无监督学习
25.density estimation 密度估计
26.anomaly detection 异常检测
27.clustering 聚类
28.cluster 簇
29.validity index 有效性指标
30.intra-cluster similarity 簇内相似度
31.inter-cluster similarity 簇间相似度
32.Minkowski distance 闵可夫斯基距离
33.Euclidean distance 欧氏距离
34.Manhattan distance 曼哈顿距离
35.lazy learning 懒惰学习
36.eager learning 急切学习
37.curse of dimensionality 维数灾难
38.dimension reduction 降维
39.manifold learning 流形学习
40.feature 特征
41.relevant feature 相关特征
42.irrelevant feature 无关特征【与当前学习任务无关的特征】
43.feature selection 特征选择
44.data preprocessing 数据预处理
45.redundant feature 冗余特征 【它们所包含的信息能从其他信息中推演出来】
46.subset search 子集搜索
47.subset evaluation 子集评价
48.ridge regression 岭回归
49.LASSO(Least Absolute Shrinkage and Selection Operator)
50.sparse representation 稀疏表示
51.dictionary learning 字典学习
52.independent and identically distributed 独立同分布
53.Vapnik Chervonenkis dimension VC维
54.dichotomy 对分
55.shattering 打散
56.active learning 主动学习
57.semi-supervised learning 半监督学习【让机器不依赖外界交互，自动利用未标记样本来提升学习能力】
58.cluster assumption 聚类假设 【假设数据存在簇结构，同一个簇的样本属于同一个类别】
59.manifold assumption 流形假设【数据分布在一个流形结构式上，邻近的样本拥有相似的输出值】（58.59：本质是相似的样本拥有相似的输出的假设）
60.Semi-Supervised Support Vector Machine (S3VM) 半监督支持向量机
61.low-density separation 低密度分隔
62.co-training 协同训练
63.probabilistic model 概率模型
64.probabilistic graphical model 概率图模型
65.Bayesian network 贝叶斯网
66.Markov network 马尔科夫网
67.Hidden Markov Model (HMM) 隐马尔科夫模型【一种著名的有向图模型，主要用于时序数据建模、在语音识别、自然语言处理等领域有广泛运用】
68.reinforcement learning 强化学习
69.perceptron 感知机
70.tensor 张量（将三维数组以及三维以上的数组称作"张量"或者多维数组）
71.activation function 激活函数（将输入信号的总和转换为输出信号）
72.Rectified Linear Unit 函数 (ReLU 函数在输入大于0时直接输出该值，输入小于0时输出0)
73.forward propagation 前向传播
74.normalization 正规化（把数据限定到某个范围内）
75.pre-processing 预处理（对输入数据进行某种既定的转换，比如正规化）
76.mean squared error 均方根误差
77.cross entropy error 交叉熵误差
78.numerical differentiation 数值微分
79.analytic 解析性求导(基于数学公式的推导求导数的过程，解析性求导得到的导数是不含误差的真正的导数)
80.rounding error 舍入误差(因省略小数的精细部分的数值，如小数点后第8位以后的数值，而导致的计算结果上的误差)
81.saddle point 鞍点
82.gradient method 梯度法
83.gradient descent method 梯度下降法
84.SGD (stochastic gradient descent) 随机梯度下降法：对随机选择的数据进行梯度下降法。
85.forward propagation 正向传播
86.backward propagation 反向传播