基础概念
supervised learning 监督学习
- classfication
- registion
unsupervised learning 无监督学习
- cluster
- Dimensionality reduction(PCA)
reinforcement learning 加强学习
samples(instances,observations) 样本
features(attributes,measurements,dimensions) 特征
class labels(targets) 标签
loss/cost function 损失函数
- 平方损失函数
- log损失函数
- L1,L2正则化项来控制过拟合
Gradient descen 梯度下降
α (超参数-hyper parameter )学习率
underfitting/overfitting
sigmoid函数 :
g
(
x
)
=
1
1
+
e
−
x
g(x)=\frac {1} {1+e^{-x}}
g(x)=1+e−x1
运用逻辑回归解决(多)分类问题:
- one vs one
- one vs rest
eigenvector 特征向量
eigenvalue 特征值
决策树 Decision Tree
Entropy 熵
Information Gain 信息增益
Overfitting
- Prrune 剪枝
- GainRatio 增益率
决策树 Ensemble 集成
-
Bagging
-
Random Forest
-
Boosting
- GBDT
- XGBoost