机器学习
你的名字5686
这个作者很懒,什么都没留下…
展开
-
统计学习方法——感知机(一)
统计学习方法——感知机感知机感知机模型感知机学习策略数据集的线性可分性感知机学习策略感知机学习算法参考文献感知机感知机是是二分类线性分类模型,输入为实例的特征向量,输出为实例类别(−1,+1-1,+1−1,+1)。感知机模型感知机模型属于判别模型,目标是求出将训练样本进行线性划分的分离超平面。感知机假设输入空间(特征空间)为X\mathcal{X}X,输出空间是Y\mathcal{Y...原创 2019-03-14 00:14:46 · 644 阅读 · 0 评论 -
统计学习方法——逻辑斯蒂回归与最大熵模型(二)
统计学习方法——逻辑斯蒂回归与最大熵模型逻辑斯蒂回归与最大熵模型模型学习的最优化算法改进的迭代尺度法(IIS)拟牛顿法参考文献逻辑斯蒂回归与最大熵模型模型学习的最优化算法由于逻辑斯蒂回归模型、最大熵模型学习都可以归结为以似然函数为目标函数的最优化问题,因此可以放在一起讨论。改进的迭代尺度法(IIS)改进的迭代尺度法是一种最大熵模型学习的最优化算法。已知最大熵模型为Pw(y∣x)=1Z...原创 2019-03-26 17:12:20 · 263 阅读 · 0 评论 -
统计学习方法——支持向量机(四)
统计学习方法——支持向量机支持向量机(四)序列最小最优化算法两个变量二次规划的求解方法变量的选择方法支持向量机(四)在前面的基础上,接下来我们关注支持向量机学习的实现问题——序列最小最优化算法(SMO)。序列最小最优化算法SMO算法要解决如下的凸二次规划的对偶问题:minα12∑i=1N∑j=1NαiαjyiyjK(xi,xj)−∑i=1Nαi\mathop {\min }\limi...原创 2019-04-10 13:31:29 · 152 阅读 · 0 评论 -
统计学习方法——支持向量机(五)
统计学习方法——支持向量机支持向量机(五)数据实现定义不同的核函数定义SVM类检验与结果详细代码参考文献支持向量机(五)下面我们来看一下支持向量机的实现。数据我们通过程序来简单生成一些数据:# 生成线性不可分数据点def gen_data(): mean1 = [-1, 2] mean2 = [1, -1] mean3 = [4, -4] mean4 =...原创 2019-04-10 15:27:59 · 263 阅读 · 0 评论 -
统计学习方法——支持向量机(一)
统计学习方法——支持向量机支持向量机(一)线性可分支持向量机与硬间隔最大化线性可分支持向量机函数间隔与几何间隔间隔最大化学习的对偶算法参考文献支持向量机(一)支持向量机是一种二分类模型,学习策略就是间隔最大化。主要包括线性可分支持向量机、线性支持向量机以及非线性支持向量机。线性可分支持向量机与硬间隔最大化线性可分支持向量机给定线性可分训练数据集,通过间隔最大化或等价地求解相应的凸二次规划...原创 2019-04-01 14:18:17 · 417 阅读 · 0 评论 -
统计学习方法——支持向量机(二)
统计学习方法——支持向量机支持向量机(二)线性支持向量机学习的对偶算法支持向量机(二)前面我们介绍了对于线性可分数据的线性可分支持向量机以及硬间隔最大化,下来我们来看写对于线性不可分数据集的线性支持向量机与软间隔最大化。线性支持向量机线性可分问题的支持向量机学习方法对于线性不可分训练数据无疑是不适用的,通常情况,将训练集中的奇异点去除,就会重新变为线性可分的。为了解决线性不可分问题,为每...原创 2019-04-01 16:37:54 · 211 阅读 · 0 评论 -
统计学习方法——提升方法(一)
统计学习方法——提升方法提升方法(一)提升方法(一)原创 2019-04-11 12:05:53 · 313 阅读 · 0 评论 -
统计学习方法——提升方法(二)
统计学习方法——提升方法提升方法(二)AdaBoost算法的训练误差分析AdaBoost算法的解释前向分步算法前向分步算法与AdaBoost提升树提升树模型提升树算法梯度提升算法参考文献提升方法(二)AdaBoost算法的训练误差分析AdaBoost的训练误差界AdaBoost算法最终分类器的训练误差界为:1N∑i=1NI(G(xi)≠yi)≤1N∑iexp(−yif(xi))=∏m...原创 2019-04-11 14:11:57 · 211 阅读 · 0 评论 -
统计学习方法——提升方法(三)
统计学习方法——提升方法提升方法(三)数据实现测试与结果完整代码参考文献提升方法(三)现在我们来看一个AdaBoost算法的简单实现。数据这里我们采用几个简单数据作为训练数据:######训练样本######def load_simple_data(): data_mat = np.matrix([[1.0,2.1],[2.0,1.1],[1.3,1.0],[1.0,1.0],...原创 2019-04-11 15:53:39 · 263 阅读 · 0 评论 -
统计学习方法——支持向量机(三)
统计学习方法——支持向量机支持向量机(三)非线性支持向量机与核函数核技巧支持向量机(三)在这一块我们来进一步学习非线性支持向量机与核函数。非线性支持向量机与核函数核技巧非线性分类问题非线性分类问题是指通过利用非线性函数才能很好地进行分类的问题。线性分类方法求解非线性分类问题使用一个变换将原空间的数据映射到新空间在新空间里用线性分类学习方法从训练数据中学习分类模型核...原创 2019-04-08 16:24:02 · 226 阅读 · 0 评论 -
统计学习方法——EM算法及其推广(一)
统计学习方法——EM算法及其推广EM算法及其推广(一)EM算法引入EM算法EM算法的导出(可不看)在非监督学习中的应用EM算法的收敛性参考文献EM算法及其推广(一)EM算法(期望极大算法)是一种迭代算法,用于含有隐变量的概率模型参数的极大似然估计。主要包含两步:E步:求期望M步:求极大EM算法引入概率模型有时既含有观测变量,又含有隐变量(潜在变量)。EM算法输入:观测变量数据...原创 2019-04-12 16:26:06 · 417 阅读 · 0 评论 -
统计学习方法——EM算法及其推广(二)
统计学习方法——EM算法及其推广EM算法及其推广(二)EM算法在高斯混合模型学习中的应用高斯混合模型高斯混合模型参数估计的EM算法EM算法的推广F函数的极大-极大算法EM算法及其推广(二)EM算法在高斯混合模型学习中的应用高斯混合模型高斯混合模型是指具有如下形式的概率分布模型:P(y∣θ)=∑k=1Kαkϕ(y∣θk)P\left( {y\left| \theta \right.} \...原创 2019-04-16 14:46:59 · 232 阅读 · 0 评论 -
统计学习方法——EM算法及其推广(三)
统计学习方法——EM算法及其推广EM算法及其推广(三)数据实现结果与检验完整代码参考文献EM算法及其推广(三)这一部分我们看一个简单的示例。数据在这里我们模拟两个正态分布的均值预测。产生训练数据的程序如下:# 指定k个高斯分布參数。这里指定k=2。注意2个高斯分布具有同样均方差Sigma,均值分别为Mu1,Mu2。def ini_data(Sigma,Mu1,Mu2,k,N): ...原创 2019-04-16 15:43:16 · 728 阅读 · 0 评论 -
统计学习方法——隐马尔可夫模型(一)
统计学习方法——隐马尔可夫模型隐马尔可夫模型(一)隐马尔科夫模型的基本概念隐马尔科夫模型的定义隐马尔科夫模型的基本假设观测序列生成隐马尔可夫模型的三个基本问题参考文献隐马尔可夫模型(一)隐马尔科夫模型(HMM)是可用于标注问题的统计学方法。隐马尔科夫模型的基本概念隐马尔科夫模型的定义隐马尔科夫模型是关于时序的概率模型,描述由一个隐藏的马尔可夫链随机生成不可观测的状态随机序列,再由各个状...原创 2019-04-16 16:58:47 · 393 阅读 · 0 评论 -
统计学习方法——逻辑斯蒂回归与最大熵模型(三)
统计学习方法——逻辑斯蒂回归与最大熵模型原创 2019-03-29 19:52:26 · 231 阅读 · 0 评论 -
统计学习方法——逻辑斯蒂回归与最大熵模型(一)
逻辑斯蒂回归与最大熵模型逻辑斯蒂回归与最大熵模型逻辑斯蒂回归模型逻辑斯蒂分布二项逻辑斯蒂回归模型模型参数估计多项逻辑斯蒂回归最大熵模型最大熵原理最大熵模型的定义逻辑斯蒂回归与最大熵模型逻辑斯蒂回归是统计学中常用的经典分类方法;最大熵是概率模型学习的一个准则,扩展到分类问题得到最大熵模型。都属于对数线性模型逻辑斯蒂回归模型逻辑斯蒂分布设XXX为连续随机变量,XXX服从逻辑斯蒂分布是指X...原创 2019-03-22 17:45:03 · 451 阅读 · 0 评论 -
统计学习方法——感知机(二)
统计学习方法——感知机感知机数据来源数据示例实现感知机模型感知机在前面介绍了感知机的相关感念以及理论依据,在这里我们以一个实例来看一下感知机的实现过程(python 3)。数据来源这里使用经典的鸢尾花Iris数据集作为数据集,由于针对的是二分类问题,因此我们区分Setosa和Versicolor两种。【当然可以将其扩展为多分类问题】数据来源:https://archive.ics.uci...原创 2019-03-14 15:48:58 · 512 阅读 · 0 评论 -
统计学习方法——K近邻法【k-NN】(一)
k近邻法$k$近邻法($k-NN$)$k$ 近邻算法$k$近邻模型模型距离度量$k$值选择分类决策规则参考文献kkk近邻法(k−NNk-NNk−NN)一种基本的分类与回归方法。kkk 近邻算法思想给定一个训练数据集,对新的输入示例,在训练集中找到与该实例最近邻的kkk个实例,依据这kkk个实例进行分类。特点监督学习懒惰学习假设——基于样本总能在任意小距离内找到一个训练样本——...原创 2019-03-14 17:26:29 · 389 阅读 · 0 评论 -
统计学习方法——K近邻法【k-NN】(二)
k近邻法$k$近邻的实现——$kd$树$kd$树kkk近邻的实现——kdkdkd树kdkdkd树原创 2019-03-14 21:13:58 · 298 阅读 · 0 评论 -
统计学习方法——K近邻法【k-NN】(三)
k近邻法$k$近邻数据来源程序实现完整代码参考文献kkk近邻前面介绍了kkk近邻的相关原理,这里我们举一个相关的示例(python 3)。数据来源此次我们使用几个自己定义的简单样本进行一个验证(我们使用kdkdkd树)。程序实现引入相关模块import numpy as np构建结点的类###定义结点类class Node: def __init__(self...原创 2019-03-14 23:29:58 · 241 阅读 · 0 评论 -
统计学习方法——朴素贝叶斯(一)
朴素贝叶斯朴素贝叶斯贝叶斯定律朴素贝叶斯的学习与分类基本方法朴素贝叶斯朴素贝叶斯是基于贝叶斯定律与特征之间条件独立这个假设的分类方法。贝叶斯定律首先,我们给出贝叶斯定律的公式:P(Bi∣A)=P(Bi)P(A∣Bi)∑j=1nP(Bj)P(A∣Bj)P\left( {{B_i}\left| A \right.} \right) = \frac{{P\left( {{B_i}} \righ...原创 2019-03-15 17:54:58 · 972 阅读 · 0 评论 -
统计学习方法——朴素贝叶斯(二)
朴素贝叶斯朴素贝叶斯数据来源极大似然朴素贝叶斯贝叶斯估计朴素贝叶斯前面介绍了朴素贝叶斯的算法原理,这里我们通过一个例子介绍一下朴素贝叶斯的使用。数据来源这里我们以教材中的例子为例,实现两种朴素贝叶斯算法,待测数据为(2,S)\left(2,S\right)(2,S)。说明:这些程序的目的是为了更深地了解算法,所以不会使用太复杂的数据,也不会使用Python的sklearn库。极大似然...原创 2019-03-15 21:00:38 · 297 阅读 · 0 评论 -
统计学习方法——决策树(一)
决策树决策树决策树模型与学习决策树模型决策树与条件概率分布决策树学习特征选择特征选择问题信息增益信息增益率基尼指数决策树生成ID3生成算法决策树剪枝参考文献决策树决策树是一种基本的分类与回归方法,主要包括三个步骤:特征选择、决策树生成以及决策树修剪。其主要特点包括模型具有可读性、分类速度快。决策树模型与学习决策树模型定义分类决策树模型是一种描述对实例进行分类的树形结构。由结点和有向边...原创 2019-03-16 22:22:32 · 1332 阅读 · 0 评论 -
统计学习方法——决策树(二)
决策树决策树CART算法CART生成CART剪枝(后剪枝)参考文献决策树前面介绍了决策树的一些知识,这里我们再来看一个CART模型。CART算法CART算法同样由两部分组成:决策树生成(生成的决策树要尽可能大),决策树剪枝(后剪枝)。其使用的特征选择标准是:基尼指数最小化准则。CART生成最小二乘回归树生成算法输入:训练集DDD输出:回归树f(x)f\left( x \rig...原创 2019-03-17 21:54:52 · 193 阅读 · 0 评论 -
统计学习方法——统计学习基础(一)
统计学习方法——统计学习统计学习概论(一)统计学习统计学习的特点统计学习的方法监督学习基本概念问题形式化统计学习的三要素模型策略算法模型评估与模型选择训练误差与测试误差过拟合、欠拟合与模型选择参考文献统计学习概论(一)统计学习统计学习的特点建立在计算机与网络的基础上以数据为研究对象基本假设:同类数据具有一定的统计规律性。以方法为中心常用方法监督学习非监督学习半监督...原创 2019-03-13 00:10:36 · 1552 阅读 · 0 评论 -
神经网络
神经网络反向传导算法mmm个数据样本{(x(1),y(1)),⋯ ,(x(m),y(m))}\left\{ {\left( {{x^{\left( 1 \right)}},{y^{\left( 1 \right)}}} \right), \cdots ,\left( {{x^{\left( m \right)}},{y^{\left( m \right)}}} \r...原创 2019-03-13 14:18:58 · 182 阅读 · 0 评论 -
统计学习方法——决策树(三)
决策树决策树的实现数据介绍决策树实现完整程序参考文献决策树的实现前面我们介绍了ID3、C4.5以及CART三种随机数算法,则这里我们通过程序加深对决策树的理解。数据介绍我们使用的数据来源于《机器学习》,可以在数据集处下载。决策树实现首先引入相关的模块。from math import logimport numpy as np读取并处理数据# 数据读取并处理labe...原创 2019-03-18 19:40:06 · 176 阅读 · 0 评论 -
统计学习方法——统计学习基础(二)
统计学习方法——统计学习统计学习概论(二)正则化与交叉验证正则化统计学习概论(二)正则化与交叉验证正则化模型选择的典型方法是正则化,正则化也是结构风险最小化策略的实现。在说明正则化之前,首先要提到一个原理:奥卡姆剃刀原理:前面已经介绍过加入正则化后的经验风险(结构风险),一般形式如下:minf∈F1N∑i=1NL(yi,f(xi))+λJ(f)\mathop {\min }\lim...原创 2019-03-13 18:56:50 · 499 阅读 · 0 评论 -
统计学习方法——隐马尔可夫模型(二)
统计学习方法——隐马尔可夫模型隐马尔可夫模型(二)概率计算算法直接计算法前向算法前向概率算法后向算法隐马尔可夫模型(二)概率计算算法这里介绍计算观测序列概率P(O∣λ)P\left( {O\left| \lambda \right.} \right)P(O∣λ)的前向与后向算法。直接计算法给定模型λ=(A,B,π)\lambda = \left( {A,B,\pi } \right)...原创 2019-04-19 14:40:17 · 261 阅读 · 0 评论