![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习笔记
小熊_LZQ
三维重建在读博士
展开
-
转载001--机器学习中的很多词语
常见的机器学习模型:感知机,线性回归,逻辑回归,支持向量机,决策树,随机森林,GBDT,XGBoost,贝叶斯,KNN,K-means等;常见的机器学习理论:过拟合问题,交叉验证问题,模型选择问题,模型融合问题等;K近邻:算法采用测量不同特征值之间的距离的方法进行分类。优点:1.简单好用,容易理解,精度高,理论成熟,既可以用来做分类也可以用来做回归;2.可用于数值型数据和离散型数据;3...转载 2018-12-18 21:40:37 · 289 阅读 · 0 评论 -
算法梳理---004随机森林
在这个阶段,突然感觉学习是一个有意思的事情,我们在一开始阶段会经历很多无聊乏味的小日子,从不知所云开始,一点点懂得滋味,也不知道是从哪一秒开始,脑子里看到相关的书也能翻上几页了。在这个过程中很感谢一路同行的伙伴。很喜欢的一句诗是‘我们都是单独的灵魂‘’,但是在彼此碰撞之后会有绚烂的光火。一、集成学习集成学习,通过构建并结合多个学习器来完成学习任务。只包含有同种类型的个体学习器,这样的集成前提是...原创 2018-12-18 21:33:02 · 325 阅读 · 0 评论 -
算法梳理—-006XGBoost
一、XGBXGBoost是boosting算法中的一种。Boosting算法的思想是将许多弱分类器集成在一起形成一个强分类器。因为XGBoost是一种提升树模型,所以它是将许多树模型集成在一起,形成一个很强的分类器。而所用到的树模型则是CART回归树模型。二、cart树ps(第一期在决策树部分有进行过梳理,这里只简单叙述一下)1)决策树CART采用GINI值衡量节点纯度;如果是回归树,采...原创 2018-12-24 10:16:18 · 272 阅读 · 0 评论 -
算法梳理——001线性回归
一、写在前面的碎碎念像所有游戏的开端差不多,一年前一个人就孤零零的冲上了图像处理的道路,过程曲折而充满着冒险的意味,不断地摸索试探慢慢前行,发现一扇门背后连接着的是一个世界。当我走进那扇门的时候,我也就开始进入一个新的世界。从图像处理一路走来,也许一开始都是艰难曲折,但是感觉事情做着做着也就没那么艰难了。二、机器学习的一些基本概念9+...原创 2018-12-10 16:22:51 · 263 阅读 · 0 评论 -
算法梳理—005GBDT
一、GBDT在提升算法中有两个主要思想,一个是Adaboost另一个是Gradient Boosting Decison Tree(梯度提升决策树)。提升树是以分类树或者回归树为基本分类器的提升方法,是目前性能较好的一种方法。在GBDT的迭代中,假设我们前一轮迭代得到的强学习器是ft−1(x)f_{t−1}(x)ft−1(x), 损失函数是L(y,ft−1(x)))L(y,f_{t−1}(x)...原创 2018-12-20 16:59:54 · 250 阅读 · 0 评论 -
算法梳理——003决策树
一、信息论基础熵,划分数据集的大原则是:将无序数据变得更加有序,但是各种方法都有各自的优缺点,信息论是量化处理信息的分支科学,在划分数据集前后信息发生的变化称为信息增益,获得信息增益最高的特征就是最好的选择,所以必须先学习如何计算信息增益,集合信息的度量方式称为香农熵,或者简称熵。主要研究对一个信号能够提供信息的多少进行量化。主要通过log进行运算,其中以e为底,那么计算单位为奈特,如果底数是...原创 2018-12-14 20:26:55 · 442 阅读 · 0 评论 -
算法梳理——002逻辑回归
一些胡说八道如何来说说我最近几天的状态呢?由于感冒的原因,最近就是状态很不好,脑子里一团浆糊,不能思考,也找不出头绪。最近几天都是看见药也不想吃,神经性头痛,一丝一丝的剥离着自己的活力,在颓废了差不多两三天的时候,想想还是吃药吧,毕竟也熬了那么几天没靠自身痊愈,拖着也不是那么回事。希望我们所有的人都能减少或者避免疾病困扰,自由的生活,如果有理想就辛勤的追逐,如果没有那就自由的活着,吹吹空调...原创 2018-12-12 16:59:29 · 240 阅读 · 0 评论 -
西瓜书svm详细推导
第6章 支持向量机6.1 间隔与支持向量样本数据集:(x10,x20,x30,…,xm0x11,x21,x31,…,xm1x12,x22,x32,…,xm2x13,x23,x33,…,xm3…x1n,x2n,x3n,…,xmn)其中xnm表示第m个样本的第n个特征,这里对每一个样本添加一个x0=1\begin{pmatrix} x_1^0,x_2^0,x_3^0,\dots,x_m^0 \...翻译 2019-08-25 21:13:48 · 320 阅读 · 0 评论