文章标题

机器学习的数学知识框架

正则化：模型越复杂，正则化值就越大。

交叉验证：重复地使用数据。

泛化能力：该方法学习到的模型对「未知数据」的预测能力。

$$P(Y|X) = \frac{P(X, Y)}{P(X)}$$
典型：朴素贝叶斯，隐马尔可夫模型
$$Y = f(X)$$
典型：KNN(k近邻法)，感知机，决策树，逻辑斯谛回归，SVM

K近邻法(k-nearest neighbor, KNN)

某点的情况，直接联系他朋友，物以类聚。

$$L_p(x_i, x_j) = \big(\sum^n_{l=1}|x^{(l)}_i - x^{(l)}_j|^p\big)^{\frac{1}{p}}$$

$$L_2(x_i, x_j) = \big(\sum^n_{l=1}|x^{(l)}_i - x^{(l)}_j|^2\big)^{\frac{1}{2}}$$

$$L_2(x_i, x_j) = \sum^n_{l=1}|x^{(l)}_i - x^{(l)}_j|$$

$$L_\infty(x_i, x_j) = \max_i|x^{(l)}_i - x^{(l)}_j|$$

决策树(decision tree)