算法
谦芊珺
这个作者很懒,什么都没留下…
展开
-
机器学习算法(二)逻辑斯蒂回归
上文中说过,逻辑斯蒂回归虽然称为回归,但它实际上是一种分类算法。认识逻辑斯蒂回归,首先需要知道sigmoid函数。下面公式1即为sigmoid函数g(x)=11+e−xg\left( x\right) =\dfrac {1}{1+e^{-x}}它的函数图像如图所示。 1、算法介绍和上文中的回归算法一样,我们有m条数据,每条数据有n个特征和1个标签。不同的是,上文的标签是一个连续型变量,本文中的标签原创 2017-07-24 22:37:42 · 540 阅读 · 0 评论 -
机器学习算法(一)线性回归
机器学习算法(一)线性回归本文主要梳理一下线性回归和逻辑斯蒂回归这两大算法。这两个算法的关系是什么呢?答案是并没有什么关系。 这样说其实也不对,逻辑斯蒂回归里有线性回归的重要组成部分。但是二者又一个本质区别,就是线性回归是一个“回归”算法,而逻辑斯蒂回归是一个“分类”算法。这就导致两个算法永远像牛郎织女一样隔着银河。本文主要介绍线性回归,下篇文章会在本文的基础上介绍逻辑斯蒂回归。本文思路主要来自邹原创 2017-07-24 20:25:27 · 589 阅读 · 0 评论 -
机器学习算法(三)支持向量机
1、问题介绍本文只涉及二分类支持向量机。支持向量机问题可以分为三种情况来讨论: 1、硬间隔支持向量机:用于可以被一个超平面严格分开的问题中,又称为线性可分支持向量机 2、软间隔支持向量机:用于可以被一个超平面非严格分开的问题中,又称线性支持向量机 3、核支持向量机:用于可以被一个超曲面分开的问题中,又称非线性支持向量机本文主要介绍硬间隔支持向量机。所谓“可以被一个超平面严格分开”,以三维空间数原创 2017-07-25 20:02:13 · 479 阅读 · 0 评论 -
机器学习算法(四)决策树
一、信息熵首先给出信息熵的定义如下H(x)=−∑x∈χp(x)lnp(x)H\left( x\right) =-\sum _{x\in \chi }p\left( x\right) \ln p\left( x\right) 1、无约束条件时,均匀分布熵最大 2、若给定分布的期望和方差,则正态分布的熵最大二、决策树是什么决策树就是下图所示的东西 三、决策树1、几个名词:1、训练数据集:D 2原创 2017-07-25 22:23:48 · 749 阅读 · 0 评论 -
机器学习算法(五)集成
1、集成集成指用多个基学习器共同构成一个更加强大的学习器。 集成包含三种方法:Boosting,Bagging,Stacking 1、Boosting:包括GBDT和Adaboost,各学习器间存在强依赖关系,只能串行实现 2、Bagging的代表算法是随机森林,各学习器间不存在强依赖关系,可以并行实现 3、Stacking主要是分层结构。每个初级学习器负责一部分的领域知识并构成次级学习器。原创 2017-07-25 23:23:43 · 313 阅读 · 0 评论 -
机器学习算法(六)K-Means聚类、层次聚类、密度聚类、谱聚类
本文主要简述聚类算法族。聚类算法与前面文章的算法不同,它们属于非监督学习。1、K-means聚类记k个簇中心,为μ1\mu_{1},μ2\mu_{2},…,μk\mu_{k},每个簇的样本数为NiN_{i} 假设每个簇中的数据都满足分布N(μi,σ)N(\mu_{i},\sigma),即方差相同,均值不同的GMM。 则每一个样本点的分布函数为:ϕi=12πσ2‾‾‾‾‾√exp(−(xi−μ)2原创 2017-07-25 23:46:30 · 1762 阅读 · 0 评论 -
机器学习算法(七)EM算法族 EM、GMM
一、GMM算法EM算法实在是难以介绍清楚,因此我们用EM算法的一个特例GMM算法作为引入。1、GMM算法问题描述GMM模型称为混合高斯分布,顾名思义,它是由几组分别符合不同参数的高斯分布的数据混合而成的。假设有n个样本点x1,x2,...,xnx_{1},x_{2},...,x_{n},它们来自K个不同的高斯分布。有如下参数:1、不同高斯分布的数据占比:πi\pi_{i} 2、每个高斯分布的均值与原创 2017-07-26 00:34:50 · 1759 阅读 · 0 评论 -
机器学习算法(八)贝叶斯算法族、朴素贝叶斯
一、贝叶斯网络本文介绍贝叶斯网络。贝叶斯网络与前面的大多数算法有一些区别,它归属与贝叶斯学派,属于判别式模型。前面介绍大多数算法归属于频率学派,属于生成式模型。贝叶斯网络可以看成是一个DAG(有向无环图)模型贝叶斯网络的三个知识点 1、网络如图所示:A←C→BA\leftarrow C\rightarrow B则在C给定的条件下,A与B独立。2、网络如图所示:A→C→BA\rightarrow C原创 2017-07-26 02:15:02 · 481 阅读 · 0 评论 -
机器学习算法(九)EM和贝叶斯网络的结合 HMM模型
1、隐马尔可夫HMM模型一个隐马尔可夫模型可以表示为λ={A,B,π}\lambda=\{A,B,\pi\}具体就不说了,比较基本。2、HMM模型的三个基本问题1、概率计算问题:给定λ\lambda和观测序列{xi}\{x_{i}\},求P(xi|λ)P(x_{i}| \lambda)。主要方法是前向计算法或后向计算法2、学习算法问题:对于给定的一个观察值序列,调整参数λ,使得观察值出现的概率p(σ原创 2017-07-26 02:35:15 · 944 阅读 · 0 评论