![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
机器学习算法
文章平均质量分 80
机器学习经典算法学习
女王の专属领地
尼采曰:每一个不曾起舞的日子,都是对生命的辜负!
展开
-
机器学习十大算法---1.线性回归
1. 线性回归的模型函数和损失函数线性回归遇到的问题一般是这样的。我们有m个样本,每个样本对应于n维特征和一个结果输出,如下: 我们的问题是,对于一个新的, 他所对应的是多少呢? 如果这个问题里面的y是连续的,则是一个回归问题,否则是一个分类问题。 对于n维特征的样本数据,如果我们决定使用线性回归,那么对应的模型是这样的: 其中θi(i = 0,1,...原创 2017-10-31 16:22:29 · 1129 阅读 · 0 评论 -
机器学习十大算法---2 .逻辑回归
逻辑回归 逻辑回归其实是一个分类算法而不是回归算法。通常是利用已知的自变量来预测一个离散型因变量的值(像二进制值0/1,是/否,真/假)。简单来说,它就是通过拟合一个逻辑函数(logit fuction)来预测一个事件发生的概率。所以它预测的是一个概率值,自然,它的输出值应该在0到1之间。此时可以看看一个博客,推导公式:http://www.cnblogs.com/daguankele/p/65...原创 2017-10-31 16:50:11 · 7053 阅读 · 0 评论 -
机器学习十大算法---3. SVM
SVM支持向量机(support vector machines,SVM)是一种二类分类模型;基本模型是定义在特征空间上的间隔最大的线性分类器,间隔最大使它有别于感知机;支持向量机还包括核技巧,这使它成为实质上的非线性分类器;支持向量机的学习策略就是间隔最大化,可形式化为一个求解凸二次规划的问题,也等价于正则化的合页损失函数的最小化问题;支持向量机的学习算法是求解凸二次规划的最优化算法;支持向量机...原创 2017-10-31 16:50:43 · 1879 阅读 · 1 评论 -
机器学习十大算法---4. 决策树
算法原理决策树(Decision Tree)是一种简单但广泛使用的分类器。通过训练数据构建决策树,可以高效的对未知的数据进行分类。决策数有两大优点:1)决策树模型可读性好,具有描述性,有助于人工分析;2)效率高,决策树只需要一次构建,反复使用,每一次预测的最大计算次数不超过决策树的深度学习过程一棵决策树的生成过程主要分为以下3个部分:特征选择:特征选择是指从训练数据中众多的特征中选择一个特征作为当...原创 2017-10-31 16:49:36 · 1459 阅读 · 1 评论 -
机器学习十大算法---7. Adaboost
--基本概念:Adaboost是一种迭代算法,其核心思想是针对同一个训练集训练不同的弱分类器,然后把这些弱分类器集合起来,构成一个更强的最终分类器 (强分类器)。其算法本身是通过改变数据分布来实现的,它根据每次训练集之中每个样本的分类是否正确,以及上次的总体分类的准确率,来确定每个样本的权值。将修改过权值的新数据集送给下层分类器进行训练,最后将每次训练得到的分类器最后融合起来,作为最后的决策分...原创 2017-11-07 23:00:25 · 680 阅读 · 0 评论 -
机器学习十大算法---8. 随机森林算法
在学习随机森林之前我们想你学习以下集成学习(ensemble)的内容。随机森林简介随机森林顾名思义,是用随机的方式建立一个森林,森林里面有很多的决策树组成,随机森林的每一棵决策树之间是没有关联的。在得到森林之后,当有一个新的输入样本进入的时候,就让森林中的每一棵决策树分别进行一下判断,看看这个样本应该属于哪一类(对于分类算法),然后看看哪一类被选择最多,就预测这个样本为那一类。在建...原创 2017-10-31 16:51:20 · 16182 阅读 · 1 评论 -
机器学习十大算法---9. 朴素贝叶斯
---------------------------------------------------------------------------------------------------------------------贝叶斯定理贝叶斯理论指事件A在事件B(发生)的条件下的概率,与事件B在事件A(发生)的条件下的概率是不一样的;朴素贝叶斯朴素贝叶斯方法是基于贝叶斯定理和特征条件独立假...原创 2017-10-31 16:51:39 · 1480 阅读 · 0 评论 -
机器学习十大算法---10. 马尔科夫
马尔可夫过程(Markov process)是一类随机过程。它的原始模型马尔可夫链,由俄国数学家A.A.马尔可夫于1907年提出。1、马尔可夫性:2.马尔可夫过程的数学定义若随机过程 满足马尔可夫性,则称为马尔可夫过程。 3.生成模式(Generating Patterns)3.1、确定性模式(Deterministic Patterns):确定性系统 考虑一套交通信号灯,灯的颜色变化序列依次是...原创 2017-11-07 23:06:19 · 8515 阅读 · 0 评论 -
机器学习十大算法之决策树---ID3算法
在决策树的每一个非叶子结点划分之前,先计算每一个属性所带来的信息增益,选择最大信息增益的属性来划。在信息增益中,重要性的衡量标准就是看特征能够为分类系统带来多少信息,带来的信息越多,该特征越。象属性与对象值之间的一种映射关系,每一个节点代表某个对象,树中的每一个分叉路径代表某个可能。的属性值,而每一个叶子节点则对应从根节点到该叶子节点所经历的路径所表示的对象的值。算法的基础就是上面提到的奥卡姆剃刀原理,越是小型的决策树越优于大的决策树,尽管如此,也不总。的,即用尽量用较少的东西做更多的事。原创 2017-11-23 14:58:07 · 3577 阅读 · 1 评论 -
机器学习十大算法之决策树---C4.5算法
对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是对ID3的改进。Contents 1. C4.5的基本认识 2.信息增益 4. ID3算法的Python实现一、C4.5的基本认识C4.5主要是在ID3的基础上改进,ID3选择(属性)树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性...原创 2018-06-21 08:39:58 · 962 阅读 · 1 评论 -
机器学习---PCA算法原理
原创 2018-06-19 10:57:14 · 381 阅读 · 0 评论 -
机器学习算法--概率与凸优化
概率论古典概率 or 统计定义:频率现代概率 or 公理化定义:测度论(科尔莫戈罗夫)概率空间(Ω,φ,P):Ω 样本空间(最小不可分的独立互斥事件集合);φ事件(Ω的子集);P测度(事件的概率);随机变量:随机试验各种结果的实值单值函数贝叶斯公式:贝叶斯法则是关于随机事件A和B的条件概率和边缘概率的。其中P(A|B)是在B发生的情况下A发生的可能性。 为完备事件组,即 在贝叶斯法则中,每个名词...原创 2018-03-29 14:01:23 · 833 阅读 · 0 评论 -
机器学习---梯度下降算法
参考:深度解读最流行的优化算法:梯度下降(精简版) http://ruder.io/optimizing-gradient-descent/; https://www.jiqizhixin.com/articles/2016-11-21-4tensorflow-梯度下降,有这一篇就足够了梯度下降法,是当今最流行的优化(optimization)算法,亦是至今最常用的优化神经网络的方法。本文旨在让你...原创 2018-06-19 16:19:29 · 518 阅读 · 0 评论 -
机器学习算法---微积分与矩阵
微积分:极限、无穷小、导数、高阶导数、泰勒级数、无穷求和、牛顿-莱布尼茨公式;牛顿法:线性代数:低维到高维、高维到低维映射都有映射规则;实例PCA:实例解析:相关算法思想:https://blog.csdn.net/American199062/article/details/51344067https://blog.csdn.net/hongqiang200/article/details/38...原创 2018-03-28 14:17:45 · 707 阅读 · 0 评论