机器学习知识回顾
文章平均质量分 56
预知梦_
机器学习/大学狗
展开
-
机器学习实战笔记(一) K-近邻(k-NN)算法
机器学习实战第二章 k-近邻算法的学习笔记,并且对这个算法自己查资料进行了扩展,很多自己学习的时候出现的错误及资料都在文章里描述,希望能对大家有帮助。原创 2017-11-09 23:01:41 · 795 阅读 · 0 评论 -
决策树的生成与剪枝
介绍决策树的生成过程及算法。关于决策树的结点的特征选择依据:决策树中结点的特征选择方法一、ID3决策树生成算法关键点:依据结点上信息增益进行特征选择算法:输入:训练数据集D,特征集A,阈值输出:ID3算法决策树 T步骤:(先检验两种极端情况)1.检查D中所有数据标签是否为同一类,是同一类,T直接为单节点树,并将此类标记为该结点的类标记并返回T。2.若,则T为单结点树,并将D中实例数最大的类作为该结...原创 2018-05-14 23:11:04 · 2087 阅读 · 1 评论 -
EM算法
当训练样本中存在隐变量(隐变量:不可观测的变量),通常通过观察可观测变量对隐变量作出推断,EM算法就是这样一种方法。 令X表示已观测变量集,Z表示隐变量集,表示模型参数,现在是根据X,Z和训练数据的分布,来对参数做极大似然估计。则应该最大化对数似然,然而由于Z是隐变量,上式无法直接求解。 EM算法就是一种常用的参数隐变量算法,是一种迭代式算法,其基本思想是:若参数已知,则可根据...原创 2018-05-21 10:34:55 · 276 阅读 · 0 评论 -
逻辑回归(logistic regression)推导
逻辑回归是一种分类模型,通过监督学习方法来估计参数。一、逻辑回归模型: 逻辑回归模型是如下条件概率分布: 一个事件的几率指的是该事件发生与不发生概率的比值,即,对数几率是:。 对逻辑回归模型而言,对数几率是:二、逻辑回归的推导及参数估计 逻辑回归使用极大似然法来估计模型参数(似然函数越大,代表联合概率分布发生越大,即越满足给定数据集的分布情况)。 设: 则似然函...原创 2018-05-21 09:36:12 · 419 阅读 · 0 评论 -
支持向量机(SVM)推导
一、硬间隔支持向量机 1.基于训练集D找到一个划分超平面,使超平面能够将不同类别样本分开。 2.对于不同类别样本,令,仅有几个距离超平面最近的点使得等号成立。通过先调整b能使得超平面恰好在两个异类支持向量各产生一个平行超平面中间。取只是为了后面方便计算,其他常量也可以,只是相当于按比例放缩w和b,因为是依据w、b优化间隔最大,所以w、b的放缩对整体不影响。 ...原创 2018-05-19 21:26:06 · 1200 阅读 · 0 评论 -
朴素贝叶斯法
朴素贝叶斯法是基于贝叶斯原理与特征独立假设的分类方法。 朴素贝叶斯法通过训练数据集的学习联合概率分布P(X,Y)。一、朴素贝叶斯算法学习过程: 1.学习先验概率分布:, 2.学习条件概率分布: 3.对给定的新数据x输入,列出x对应后验概率公式,使得后验概率最大化的类作为x的输出。直观理解:在x这个输入条件下,根据训练数据集的分布情况,找出使x最大化后验概率的输...原创 2018-05-11 21:23:03 · 423 阅读 · 1 评论 -
k近邻算法的实现:kd树
k近邻算法最简单的实现方法是线性扫描。但当训练集很大时,搜索效率低,为了提高效率,可构建kd树。一、构建kd树 以中位数作为切分点得到的kd树时平衡树。kd树本身是一个二叉树,对特征空间进行划分。 算法:输入:数据集T 输出:kd树 1.构造根节点,选择第一个特征为坐标轴,然后只考虑第一个特征,对所有实例的第一个特征的值进行排...原创 2018-05-10 21:34:43 · 1307 阅读 · 0 评论 -
K近邻法
k近邻法是一种基本分类与回归方法。 k紧邻法的三个基本要素:k值的选择、距离度量、分类决策规则。一、k近邻算法 输入:训练数据集T,要预测的特征向量x。 输出:特征向量x对应实例的类别y。 步骤:1.根据给定的距离度量,在训练集T中找出与x最近邻的k个点。 2.依据找出的k个点,根据决策规则决定x的类别y。 ...原创 2018-05-10 21:00:04 · 282 阅读 · 0 评论 -
感知机(神经网络和支持向量机基础)
感知机学习旨在求出将训练数据进行线性划分的分离超平面,因此导入误分类的损失函数,利用梯度下降法对损失函数进行极小化,求得感知机模型。一、感知机模型 ,其中w和b是感知机的参数,sign是符号函数: 即对应一个分离超平面S,完全线性可分的数据集会被S分为2类。二、感知机的学习策略 损失函数:一个自然选择是误分类点的个数,但是其不是参数w,b的...原创 2018-05-10 20:27:28 · 1029 阅读 · 0 评论 -
决策树中结点的特征选择方法
一、信息增益 信息增益用在ID3决策树中,信息增益是依据熵的变化值来决定的值。 熵:随机变量不确定性大小的度量。熵越大,变量的不确定性就越大。 熵的公式表示: X的概率分布为P(x=xi) = pi, i=1,2,3...(x可能的取值),随机变量X熵为,并且0log0=1。 条件熵:H(Y|X)表示在随机变量X的条件下随机变量Y的不确定性。 在决...原创 2018-05-09 08:23:46 · 10860 阅读 · 0 评论 -
Pandas-Series
Pandas含有使数据分析工作变得更快更简单的高级数据结构和操作工具,pandas基于numpy构建。两个主要数据结构:Series和DataFrame。Series:一种类似于一位数组的对象,由一组数据和一组与之相关的数据标签组成。产生Series:1.仅由一维列表即可产生最简单的Series:obj = Series([-1, 5, 7, 9]) 0原创 2017-12-18 11:15:03 · 323 阅读 · 0 评论 -
主成分分析(PCA)
对正交属性空间中的样本点,用一个超平面对所有样本进行恰当表达,超平面应该有这样的性质(都是希望降维后损失足够小):最近重构性:样本点到这个超平面的距离都足够近最大可分性:样本点在这个超平面上的投影尽可能分开一、根据最近重构性进行推导 假设样本集X进行了中心化,投影转换坐标系为,其中是标准正交基向量。 样本点投影后的坐标为,说明是维转换。 若基于来重构,会得到 则原样...原创 2018-05-24 08:35:54 · 431 阅读 · 0 评论