机器学习
文章平均质量分 76
Meng
这个作者很懒,什么都没留下…
展开
-
机器学习模型越简单越好
首先介绍一下奥卡姆剃刀原理,他是这么说的,Entities should not be multiplied unnecessarily。翻译成高大上的中文意思是:如无必要,勿增实体(瞬间感觉中文高大上,有么有)。在我理解中,用都听的懂的话,做成一件事有很多方式,最简单的方式就是最好的。这个原理应用到机器学习中,就是,在可以很好地解释训练数据的模型中,越简单的模型才是最好的。这样说起来...原创 2018-05-24 15:18:19 · 1825 阅读 · 0 评论 -
决策树以及手撸代码
什么是决策树算法 决策树是基本的分类回归算法,呈树状结构,在分类任务中,是基于特征对实例进行分类的过程。可以认为是,在给定特征条件下类的条件概率。决策树算法种类ID3:基于信息增益选择特征的算法C4.5:基于信息增益率选择特征的算法CART:基于gini系数选择特征的算法代码#DTimport numpy as npfrom math import logimport oper...原创 2018-06-21 19:02:06 · 723 阅读 · 0 评论 -
逻辑回归手撸代码
本篇博客主要是逻辑回归的手撸代码,但是还有我的简单理解,用QW的形式描述。并不是逻辑回归的介绍,如有错误还望指出。逻辑回归与线性回归关系逻辑回归与线性回归同属于广义线性模型。逻辑回归就是用线性回归模型的预测值去拟合真实标记的对数几率。相当于在线性回归模型上加了一层非线性映射。逻辑回归和线性回归就是得到一条直线。线性回归的直线是尽可能去拟合输入向量x的分布,使得训练集中所有样本点到直线的距离最短;而...原创 2018-06-08 13:17:55 · 677 阅读 · 0 评论 -
论文阅读笔记--LightGBM: A Highly Efficient Gradient Boosting Decision Tree
以前学习集成学习时候,都是从网上博客等等一些地方学习的,最近重新复习学习,所以拿出论文来读,这个是这篇论文LightGBM: A Highly Efficient Gradient Boosting Decision Tree的自己的笔记。 在我理解中,这篇论文,是对GBDT算法的改进,是对GBDT算法的增速。主要的改进点就在对训练数据的处理上,其实对算法本质没有改进。 ...原创 2018-06-24 15:29:10 · 897 阅读 · 0 评论 -
朴素贝叶斯理解以及手撸代码
对于算法的理解,依然用问题解答的模型来进行。为什么叫朴素贝叶斯 朴素贝叶斯的英文名字是Naive Bayes,Naive这个词常规翻译应该是天真、幼稚。按照这层意思应该翻译成天真的贝叶斯,不好听,所有大牛把它翻译成朴素贝叶斯,有了更好的意境,在我个人理解,用天真、幼稚表达更能说明这个算法的本质。 朴素贝叶斯是基于贝叶斯定理和特征条件独立性假设的分类方法。而这个朴素(天真)的点就...原创 2018-06-10 10:59:13 · 559 阅读 · 0 评论 -
SVM中的核技巧
首先,指出核技巧并不是SVM专属的,它是一个独立的算法,是一种使用原属性集计算变换空间中的相似度的方法。只是它与SVM八字很合。为什么使用核技巧SVM构建的是一个线性的决策边界,从而把数据集分到各自的类中,如果数据集是一个非线性的,直接使用SVM,得不到一个理想的结果,那么使用线性分类器求解非线性分类问题,需要特殊的处理:首先,使用一个变换将原空间的数据映射到新空间中然后,在新空间中使用线性分类器...原创 2018-07-01 12:01:15 · 3526 阅读 · 0 评论