机器学习算法
文章平均质量分 96
机器学习算法
DisguiseR6
打比赛,打比赛,打比赛!!!
展开
-
决策树算法[3]
决策树算法梳理1 信息论基础熵如果一个随机变量XXX的可能取值为X=x1,x2,…,xkX = {x1, x2,…, xk}X=x1,x2,…,xk,其概率分布为P(X=xi)=pi(i=1,2,...,n)P(X = xi) = pi(i = 1,2, ..., n)P(X=xi)=pi(i=1,2,...,n),则随机变量X的熵定义为:H(X)=−∑xp(x)logp(x)=∑x...原创 2019-03-05 20:07:42 · 115 阅读 · 0 评论 -
XGB算法梳理
【3】XGB算法梳理文章目录【3】XGB算法梳理1.算法原理1.1.核心公式推导1.2.xgboost 和 gbdt 区别2.分裂结点算法3.对缺失值处理4.优缺点5.sklearn参数5.1.通用参数5.2.booster参数5.3 学习目前参数参考1.算法原理xgboost的基础是梯度提升算法,提升法中最著名的算法包括Adaboost和梯度提升树,xgboost是由梯度提升树GBDT发...原创 2019-04-10 15:45:56 · 498 阅读 · 0 评论 -
GBDT
【2】GBDT文章目录【2】GBDT1 GBDT2 前向分步算法3 损失函数4 负梯度拟合回归模型5 分类算法6 正则化7 优缺点8 sklearn参数9 应用场景1 GBDTGBDT(Gradient Bootsting Decision Tree)梯度提升决策树作为boosting算法中的另一个重要代表,主要由三个部分构成回归树 Regression Decision TreeGB...原创 2019-04-03 23:38:07 · 326 阅读 · 0 评论 -
随机森林算法梳理
【1】随机森林算法梳理文章目录【1】随机森林算法梳理1集成学习概念2个体学习概念3 boosting &bagging4 结合策略5随机森林思想6 随机森林推广7 优缺点8 sklearn参数9 应用场景1集成学习概念构建并结合多个学习器来完成学习任务,有时也被称为多分类器系统(multi-classifier system)、基于委员会的学习(cjommottee-based le...原创 2019-04-03 23:20:41 · 319 阅读 · 0 评论 -
机器学习中的偏差与方差
偏差和方差文章目录偏差和方差1 意义2 偏差和方差主要用于模型的选择3 公式推导参考1 意义偏差:度量了学习算法的期望预测与真实结果的偏离程度刻画了学习算法本身的拟合能力方差:度量了同样大小的训练集的变动所导致的学习性能的变化刻画了数据扰动所造成的影响噪声:表达力当前任务上任何学习算法所能达到的期望泛化误差的下界刻画了学习问题本身的难度2 偏差和方差主...原创 2019-03-25 16:15:06 · 192 阅读 · 0 评论 -
线性回归[1]
线性回归算法梳理## 1 机器学习概念有监督学习训练数据有标记信息,形式:给定一个输入xxx,学习预测一个输出ttt—根据输出形式可分为:回归、分类无监督学习训练数据没有标记信息泛化能力该方法学习到的模型对未知数据的预测能力过拟合一味追求对训练数据的预测能力,所选模型的复杂度往往会比真实模型更高的现象 解决方法:正则化欠拟合与‘过拟合’相对,对训练样本...原创 2019-03-01 17:27:57 · 177 阅读 · 0 评论 -
逻辑回归[2]
逻辑回归算法梳理1 逻辑回归与线性回归的区别线性回归逻辑回归目的预测分类y(i)y^{(i)}y(i)未知{0,1}函数拟合函数预测函数参数计算最小二乘最大似然估计1 (分类和回归):逻辑回归与线性回归都属于广义线性回归模型,回归模型就是预测一个连续变量(如降水量,价格等)。在分类问题中,预测属于某类的概率,可以看成回归问题。这...原创 2019-03-03 18:32:13 · 372 阅读 · 0 评论 -
算法-【SVM】
算法 -【SVM】文章目录算法 -【SVM】0.总结0.1.SMO 算法总结1.线性SVM1.1.问题描述2.对偶SVM2.1.拉格朗日函数2.2.拉格朗日对对偶问题3.软间隔SVM3.1.pocket 算法3.2.拉格朗日函数3.3.把软间隔svm构造成一对偶问题3.4.软间隔SVM的对偶形式4.SMO工作原理4.1.要解决问题4.2.两个变量二次规划的求解问题(约束)4.3.求解 $\alp...原创 2019-05-29 16:09:36 · 191 阅读 · 0 评论