![](https://img-blog.csdnimg.cn/20201014180756928.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习
文章平均质量分 93
Leon_winter
人工智能,大数据领域
展开
-
PSO搜参
文章目录算法思想pso算法参数粒子更新公式:伪代码总结参考文献论文地址:https://www.semanticscholar.org/paper/A-new-optimizer-using-particle-swarm-theory-Eberhart-Kennedy/8263efcbc5e6b3c7c022b1131038b888babc8548算法思想 PSO算法的思想来源于对鸟群的捕...原创 2020-03-16 20:06:51 · 1657 阅读 · 0 评论 -
AUC:直观理解AUC为何会对正负样本数分布不均匀情况鲁棒
文章目录随便造一组数据12正,12负,离开这个例子也可以,1表示实际的正例,0表示实际的负例子。假设我们的模型预测的分数从左到右逐渐下降,1,1,1,1,0,1,1,1,0,1,1,0,1,0,0,1,0,0,0,1,0,0,0,0...原创 2020-03-08 21:29:15 · 10887 阅读 · 4 评论 -
集成学习(Ensemble Learning):Boosting、Bagging、Random Forest、Stacking
baggingboostingstacking原创 2019-08-11 16:38:09 · 532 阅读 · 0 评论 -
统计学习方法概述
统计学习统计学习方法: 统计学习是概率论、统计论、信息论、计算理论、最优化理论及计算机可续等多个领域的交叉学科,其基本假设是同类数据具有一定的统计规律性,这是统计学习的前提,其在计算科学中所处位置如下: 计算机科学由三维组成,即系统、计算和信息,统计学习互咬属于信息这一维,向下又可以分为统计学习方法,统计学习理论和统计学习应用;统计学习方法由模型、策略和算法构成。变量与空间 ...原创 2019-01-20 11:10:02 · 393 阅读 · 0 评论 -
K-近邻法(k-nearest neighbor,K-NN)
文章目录K-近邻法K-近邻模型距离度量超参数k的确定分类策略算法流程kd树K-近邻法 KNN是一个二分类或者多分类模型,属于判别模型和非概率模型。用一句话描述这个模型,就是在特征空间中,离待分类点最近的K个点中出现最多的类标签,即是该待分类点的类标签。K-近邻模型 由于KNN属于惰性(lazy)模型,没有显式的学习过程,使用统计学习方法三要素描述不方便,这里考虑另外三个要素,即距离度...原创 2019-01-25 09:36:51 · 581 阅读 · 0 评论 -
支持向量机(Support Vector Machine, SVM):最一般情况(非线性)公式推导
看博客或教材时,总觉得推导写的太简单,所以这里自己推导一下支持向量机的公式。部分推导会写在纸上,贴图上来,因为太长了,用latex敲实在是麻烦,如果哪里看不清楚或者哪里有误,还望评论指出,我及时修改。会不断更新的。目录三种基本的SVM:三者关系:核技巧:推导超平面证明wT是法向量证明向量指向的方向就是正实例的一侧推导点到平面距离公式优化函数的构建含有不等...原创 2018-12-07 10:21:06 · 930 阅读 · 0 评论 -
感知机模型(perceptron)
文章目录感知机(perceptron)线性可分数据集原始形式统计学习方法三要素算法流程对偶形式感知机(perceptron)线性可分数据集原始形式统计学习方法三要素模型:y=sign(ωTx+b)y=sign(\omega ^{T}x+b)y=sign(ωTx+b)策略:L(ω,b)=∑i∈m−yi(ωTxi+b)L(\omega,b)=\sum\limits_{i \in m}-...原创 2019-01-22 17:33:25 · 6039 阅读 · 1 评论 -
朴素贝叶斯分类器(Naive Bayes,NB)
文章目录朴素贝叶斯分类器朴素贝叶斯分类器贝叶斯原创 2019-01-28 16:29:16 · 862 阅读 · 0 评论 -
决策树(decision tree):ID3、C4.5、CART
文章目录决策树(decision tree)决策树模型特征选择信息增益信息增益比ID3决策树生成决策树修建C4.5决策树生成决策树修建CART决策树生成决策树修建决策树(decision tree) 决策树模型是一个分类与回归方法,属于监督学习模型,是一个概率模型和判别模型。决策树模型 决策树模型包括特征选择,决策树生成和决策树剪枝。特征选择 特征选择在于选取对分类有帮助的特征...原创 2019-02-06 21:22:54 · 2269 阅读 · 0 评论 -
提升方法(boost)
文章目录提升方法adaboost前向分布算法adaboost与前向分布算法提升树提升方法 提升方法(boost)是什么adaboost adaboost(adaptive boost,适应提升方法)是一种十分有代表性的提升方法,它能适应弱分类器各自的训练误差率。前向分布算法 adaboost与前向分布算法 提升树 参考书籍:《统计学习方法》...原创 2019-02-17 23:07:29 · 1547 阅读 · 1 评论 -
逻辑斯蒂回归(Logistic regression, LR)
文章目录@[toc]参考书籍:《统计学习方法》原创 2019-02-27 21:19:28 · 387 阅读 · 0 评论 -
梯度提升决策树(GBDT)与极端梯度提升(xgboost)算法
文章目录梯度提升决策树(GBDT)算法流程xgboost算法梯度提升决策树(GBDT) 梯度提升决策树(GBDT)算法是梯度提升(GB)算法限定基学习器是回归决策树时的模型,尤其是CART回归树,关于梯度提升(GB)可以看我的blog中对应的部分。 这里根据GB算法,改写成使用CART回归树的GBDT算法。算法流程输入:训练集T={(x1,y1),(x2,y2)…(xN,yN)}T=...原创 2019-05-06 09:37:57 · 6488 阅读 · 0 评论 -
贝叶斯优化(BayesianOptimization)
文章目录贝叶斯优化贝叶斯优化器的介绍采集函数(Acquisition Function,AF)UCB(Upper confidence bound)EI(Expected improvement)PI(probability of improvement)算法流程贝叶斯优化的一个模拟实验贝叶斯优化的应用贝叶斯优化 这篇blog参考github上一个基于高斯过程回归的贝叶斯优化开源项目(pyt...原创 2019-01-23 21:14:20 · 60876 阅读 · 13 评论