百面机器学习-降维

01 PCA最大方差理论

一种线性、非监督、全局的降维算法。（可以理解为一种特征提取的方式）
PCA旨在找到数据中的主成分，并利用这些主成分表征原始数据，从而达到降维的目的。
PCA求解方法：
对样本数据进行中心化处理。
求样本协方差矩阵。
对协方差矩阵进行特征值分解，将特征值从小到大排列。
取特征值前d大对应的特征向量，映射到d维。
PCA求解的其实是最佳投影方向，即一条直线。

线性判别分析

LDA:有监督的降维算法。
LDA首先是为分类服务的。

第五章 非监督学习

01 K均值聚类

k均值聚类的核心是将给定的数据集划分为k个簇，并给出每个数据对应的簇中心点。
k均值算法受初值和离群点的影响每次结果不稳定，结果不是全局最优而是局部最优。
k均值调优：数据归一化和离群点处理，合理选择K值、采用核函数

02 高斯混合模型

聚类算法。假设每个簇的数据都符合高斯分布（又叫正态分布），当前数据呈现的分布就是各个簇的高斯分布叠加在一起的结果。
高斯混合模型的核心是假设数据可以看作从多个高斯分布中生成出来的。
高斯混合模型是一个生成式模型。

03 聚类算法的评估

估计聚类趋势、判定数据簇数，测定聚类质量
聚类纯度。

第六章 概率图模型

用观测结点表示观测到的数据，用隐含节点表示潜在知识，用边来描述知识与数据之间的相互关系，最后基于这样的关系图获得一个概率分布。

01 概率图模型的联合分布概率

用最简洁清晰的图示来表达概率生成模型。
朴素贝叶斯模型通过预测指定样本属于特定类别的概率来预测该样本的所属类别。属于生成模型，通过计算边缘分布得到对变量的预测。

第七章 优化算法

01 有监督学习的损失函数

02 梯度验证

使用梯度下降法求解优化问题时，最重要的操作就是计算目标函数的梯度。

第八章 采样

采样是从特定的概率分布中抽取对应的样本点。

第九章 前向神经网络

01 多层感知机与布尔函数

02 神经网络训练技巧

Dropout、调参

第十一章 强化学习