aids1982-CSDN博客

转载拉格朗日对偶性

拉格朗日对偶性原始问题：$\underset{x}{min}f(x)$$\begin{matrix}s.t. & c_{i}(x)\leq 0，i=1\sim k \\ &h_{j}(x)= 0，j=1\sim l \end{matrix}$广义拉格朗日函数$L(x,\alpha ,\beta )=f(x)+\sum_{i=1}^{k}\a...

2019-09-02 12:43:00 101

转载最大后验概率&最大似然估计

问题是，已知样本结果D，求最大概率的参数$\theta$最大后验概率(MAP)：求使$P(\theta |D)$最大的$\theta$；$P(\theta |D)=\frac{P(D|\theta )P(\theta )}{P(D)}$其中，P(D)为已知量，常量，因为样本结果已经定了;求$max P(\theta |D)$，相当于求$max{P(D|\theta...

2019-09-01 12:29:00 255

转载特征工程

数据清洗：1、异常值1）基于概率分布，构建一个概率分布模型，并计算对象符合该模型的概率，把具有低概率的对象视为异常点。2）聚类，比如我们可以用KMeans聚类将训练样本分成若干个簇，如果某一个簇里的样本数很少，而且簇质心和其他所有的簇都很远，那么这个簇里面的样本极有可能是异常特征样本了。我们可以将其从训练集过滤掉。3）异常点检测方法，主要是使用iForest或者one...

2019-09-01 12:28:00 155

转载 SVM

二类分类模型模型：在特征空间上的间隔最大的线性分类器求解凸优化（凸二次规划）1、线性可分支持向量机利用间隔最优化求最优分离超平面，解是唯一的；$$\omega ^{\ast }\cdot x+b^{\ast }=0$$分类决策函数$$f(x)=sign(\omega ^{\ast }\cdot x+b^{\ast })$$点到超平面的距离，反映了分类预测...

2019-09-01 12:27:00 128

转载 GBDT

1、GBDT模型介绍；2、GBDT回归算法3、GBDT分类算法4、GBDT的损失函数5、正则化6、GBDT的梯度提升与梯度下降法的梯度下降的关系；7、GBDT的优缺点1、GBDT模型介绍；GBDT(Gradient Boosting Decision Tree)又名：MART（MultipleAdditiveRegressionTree)...

2019-09-01 12:27:00 223

转载随机森林（Random Forest， RF）

秉承bagging；构造多颗相互独立CART决策树，形成一个森林，共同决策输出；两个随机：1）输入数据随机：从全体数据中又放回的选取部分数据；2）每颗决策树构建的特征是从全体特征中随机选取；（从M个特征中选m个，再从这m个选取最优特征作为节点）优点：1）不易过拟合，抗噪能力强；2）高度并行，运算快；3）无偏估计；4）对部分特征缺失不敏感；随机森林调...

2019-09-01 12:26:00 142

转载逻辑回归（Logistic Regression, LR）

1、什么是逻辑回归；2、逻辑回归的流程及推导；3、逻辑回归的多分类4、逻辑回归VS线性回归5、逻辑回归 VS SVM1、什么使逻辑回归；名为回归，实际是分类，通过计算$P(y=0|x;\theta )$的大小来预测分类类别，预测的是类别0，1，而不是概率，但计算的是概率；$0\leq P(y=0|x;\theta )\leq 1$，是个概率值，本身并没有非0...

2019-09-01 12:25:00 361

转载 Xgboost

1、xgboost流程2、如何求每一步的分类回归树？3、xgboost损失函数4、xgboost特点5、xgboost与GBDT6、xgboost调参1、xgboost流程1、初始化：估计是结构损失函数极小化的分类器；2、添加回归树：　　求使得损失函数$L_{m}=\sum_{i=1}^{N}(y_{i}-(\widehat{y_{i}}^{t-...

2019-08-13 16:22:00 209

转载正则化-L0,L1,L2

1、什么是L0、L1、L2正则化；2、正则化的作用；3、正则化的原理；4、L1,L2正则化有什么不同；1、什么是L0、L1、L2正则化；L0正则化L0范数指的是向量中非零元素的个数；L0正则化就是限制非零元素的个数在一定的范围，这很明显会带来稀疏。一般而言，用L0范数实现稀疏是一个NP-hard问题，因此人们一般使用L1正则化来对模型进行稀疏约束。L...

2019-08-06 22:18:00 982

转载损失函数

1、什么是损失函数；2、常用的损失函数及其特点；3、绝对值与平方损失函数对比；4、交叉熵损失和平方损失对比；1、什么是损失函数；损失函数（Loss Function)是用来评估模型好坏程度，即预测值f(x)与真实值的不一致程度；损失函数衡量单个样本预测值与真实值的误差；代价函数（Cost Function）是整个样本集的平均误差，对所有损失函数值的平均；...

2019-08-06 22:17:00 926

转载优化方法

1、梯度下降法2、随机梯度下降法3、批量梯度下降法4、动量（Momentum）方法5、AdaGrad方法6、Adam方法BGD/SGD/MBGDBGD：批量梯度下降法：一次迭代使用所有样本。优点：迭代次数少，每次都向最优方向迭代；缺点：每次迭代都非常耗时；SGD（随机梯度下降法）：随机梯度下降法：一次迭代使用一个样本。优点：每次迭代速度快...

2019-08-06 22:17:00 78

aids1982的博客