士杰的博客

本项目基于 libsvm-cpp 以及 dataframe-cpp 进行开发，主要用于异常检测，可直接读取CSV文件进行训练，存储和读取model以及scaler，并用于在线异常检测。同时该项目使 libsvm-cpp 支持直接读取CSV文件进行训练和测试。该项目已上传至码云和Github。

min⁡R,aR2+C∑i=1nξi subject to: ∥xi−a∥2≤R2+ξi for all i=1,…,nξi≥0 for all i=1,…,n\begin{array} { c } \min _ { \boldsymbol { R } , \mathbf { a } } \boldsymbol { R } ^ { 2 } + \boldsymbol { C } \sum _ { \boldsymb.

线性判别分析（Linear Discriminat Analysis）PCA找寻的投影向量力求找到使得特征点方差较大（也就是说散的比较开），与PCA所找寻的投影向量不同，LAD所找寻的投影向量具有下面两种特性：映射后不同类数据之间的中心点（均值点）相距较远映射后同类数据之间方差较小（分布比较集中）类似于一种聚类分析，但是却是一种监督学习算法。而PCA属于一种无监督学习算法。那么将LDA的主轴与PCA的主轴画出如下：可以看出实际上数据在映射在 LDA 的主轴上可分性更高。在下面的正文中的一

主成分分析PCA(Principal Component Analysis),作用是:聚类 Clustering：把复杂的多维数据点,简化成少量数据点,易于分簇降维：降低高维数据,简化计算,达到数据降维,压缩,降噪的目的PCA 的目的就是找到一个低维映射空间，使得数据映射后方差最大。理论实现：首先对样本空间为 ddd 维全部的数据中心化，使得均值为 0，即将所有的样本与样本均值相减获得新的样本：xi=xi−μ\mathbf { x } _ { i } = \mathbf { x } _ {

相对于随机森林使用 bagging 融合完全长成决策树，梯度提升决策树使用的 boosting 的改进版本 AdaBoost 技术的广义版本，也就是说是根据损失函数的梯度方向，所以叫做梯度提升（Gradient Boosting）。...

随着大数据时代的到来，GBDT正面临着新的挑战，特别是在精度和效率之间的权衡方面。传统的GBDT实现需要对每个特征扫描所有数据实例，以估计所有可能的分割点的信息增益。因此，它们的计算复杂度将与特征数和实例数成正比。这使得这些实现在处理大数据时非常耗时。直接的想法是减少样本数据量和特征数。LightGBM 针对这两种操作提出来两个方法：基于梯度的单边采样（Gradient-based One-Side Sampling (GOSS)）：当对样本进行采样时，为了保持信息增益估计的准确性，应该更好地保留那些