机器学习
文章平均质量分 95
S大幕
小学僧
展开
-
【机器学习】使用python构建决策树
在看了决策树相关内容和麦子学院讲解的利用Python构建决策树的视频教程后,跟着视频做了构建决策树的过程本次构建决策树的使用的算法是ID3算法,主要思想是利用不同特征值的信息熵来作为最优划分属性,决策树具体内容将在其余文章内给出。1.环境搭建:本次使用的环境是Mac OS + PyCharm + anaconda2.7 + GraphViz需要用到的库主要是sklearn,此外,在原创 2017-02-26 16:34:34 · 2527 阅读 · 0 评论 -
【机器学习】模型评估与选择
内容大多来自统计学习方法——李航机器学习——周志华1. 统计学习三要素 统计学习方法都是有模型、策略和算法构成的,也就是统计学习方法由三要素构成,可以简单地表示为: 方法=模型+策略+算法方法=模型+策略+算法方法=模型+策略+算法 构建一种统计学习方法就是确定具体的统计学习的三要素。1.1 模型 统计学习首要考虑的问题是学习什么样的模型,在监督学习过程中...原创 2018-04-11 15:06:09 · 1553 阅读 · 2 评论 -
【机器学习】L1 与 L2 正则化
L1 与 L2 正则化1. 通常基本理解 L1 正则化和 L2 正则化可以看做是损失函数的惩罚项。 所谓的惩罚就是就损失函数中的某些参数做一些限制。对于线性回归模型,使用 L1 正则化的模型叫做 Lasson 回归,使用 L2 正则化的模型叫做 Ridge 回归(岭回归)。下面两个公式分别表示加了 L1 和 L2 正则化的线性回归: minw12nsamples||Xw−y||22...原创 2018-03-20 17:16:58 · 705 阅读 · 0 评论 -
【机器学习】线性回归
基本的线性回归模型因为都比较容易这里不赘述,主要讲 线性回归中的 Lasso 问题1. 线性回归正则化 为了防止模型的过拟合,我们在简历线性模型的时候经常需要加入正则化项。一般有 L1 正则化和 L2 正则化。其中,L1 正则化通常称为 Lasso 回归,它和一般线性回归的区别是在损失函数上增加了一个 L1 正则化的项,L1 正则化的项有一个常数 αα\alpha 来调节损失函数的均方差...原创 2018-03-20 10:38:09 · 405 阅读 · 0 评论 -
【机器学习】降维
降维 在进行特征计算时,如果维度过高,会给很多计算带来灾难性的后果,比如当维度很高的时候甚至连内积的计算都十分困难。在高维的情形下出现的数据样本稀疏,距离计算等困难问题,被称为 “维数灾难(curse of dimensionality)”。而缓解维数灾难的一个途径就是进行降维(dimension reduction),也就是通过某种数学变换将高维属性空间转变为一个低维 “子空间”(subs...原创 2018-03-19 13:57:04 · 1012 阅读 · 0 评论 -
【机器学习】类别不平衡学习
本文主要记录 《机器学习》一书中关于类别不平衡问题的处理。 类别不平衡问题(class-imbalance)就是说对于分类任务来说,不同类别的训练样例相差很大的情况。不是一般性,这里主要介绍负样本远远多于正样本的情况。(在阅读深度神经网络论文时,发现这种情况非常常见)。 首先从线性分类器的角度来进行理解。使用 y=ωTx+by=ωTx+b\boldsymbol {y=\omega^Tx...原创 2018-03-06 01:19:10 · 2773 阅读 · 2 评论 -
【机器学习】线性判别分析——LDA
本文转载自博客 线性判别分析LDA原理总结 在主成分分析(PCA)原理总结中,我们对降维算法PCA做了总结。这里我们就对另外一种经典的降维方法线性判别分析(Linear Discriminant Analysis, 以下简称LDA)做一个总结。LDA在模式识别领域(比如人脸识别,舰艇识别等图形图像识别领域)中有非常广泛的应用,因此我们有必要了解下它的算法原理。 在学习LDA...转载 2018-03-05 16:46:43 · 820 阅读 · 0 评论 -
【机器学习】聚类
1. 距离计算 当对一些没有 Label 的数据进行分类的时候,需要满足一些的基本性质:非负性:dist(xi,xj)≥0dist(xi,xj)≥0dist(x_i,x_j)\geq 0;同一性:dist(xi,xj)=0dist(xi,xj)=0dist(x_i,x_j)=0,当且仅当 xi=xjxi=xjx_i=x_j;对称性:dist(xi,xj)=dist(xj,xi)di...原创 2018-03-18 10:28:23 · 862 阅读 · 0 评论 -
【机器学习】朴素贝叶斯
朴素贝叶斯 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法。对于给定的训练数据集,首先给予特征条件独立假设学习出输入输出的联合概率分布;然后基于此模型,对给定的输入 xxx,利用贝叶斯定理求出后验概率最大的输出 yyy。朴素贝叶斯方法实现简单,学习与预测的效率都比较高,是一种常用的方法。基本方法 设输入空间 X⊆RnX⊆Rn\mathcal{X}\s...原创 2018-03-12 11:06:32 · 378 阅读 · 0 评论 -
【机器学习】线性回归相关推导
在线性回归中,西瓜书 P54 页有如下公式: ∂E(ω,b)∂ω∂E(ω,b)∂b=2(ω∑i=1mx2−∑i=1m(yi−b))=2(mb−∑i=1myi−ωxi)(640)(641)(640)∂E(ω,b)∂ω=2(ω∑i=1mx2−∑i=1m(yi−b))(641)∂E(ω,b)∂b=2(mb−∑i=1myi−ωxi)\begin{align}\frac{\partial{E_{(\o...原创 2018-03-03 23:38:47 · 337 阅读 · 0 评论 -
【机器学习】集成学习
集成学习(ensemble learning)通过构建并结合多个学习起来完成 学习任务,有时也被称为多分类器系统(multi-classifer system)、基于委员会的学习等等。 通过不同的方式来将多个分类器结合成为一个强分类器,具体可以分为“同质集成”和“异质集成”。其中,同质指的是最后构建的分类器系统仅仅由一种相同的 基分类器构成,而 异质 指的是最后构建的分类器系统由不仅一...原创 2018-03-16 10:10:10 · 657 阅读 · 0 评论 -
【机器学习】决策树
决策树还表示给定特征条件下类的条件概率分布。这一条件概率分布定义在特征空间的一个划分上。将特征空间划分为互不相交的单元或是区域,并在每个单元定义一个类的概率分布就构成了一个条件概率分布。决策树中的一条路径对应于划分中的一个单元。决策树所表示的条件概率分布由各个单元给定条件下类的条件概率分布组成。假设 X 表示特征的随机变量,Y 是表示类的随机变量,那么这个条件概率根部可以表示为 P(Y|X...原创 2018-03-07 16:16:59 · 634 阅读 · 0 评论 -
【机器学习】EM算法
# EM 算法之前粗略看了一下 EM 算法,但没有深入,最近看到 GMM( 混合高斯 )和聚类,发现EM算法的用途,又了解到之后的HMM还会用到,在这里稍微深入研究一下。相关资料主要是参考了下面内容 书籍内容 周志华 机器学习 李航 统计学习方法 视频内容 吴恩达 机器学习 第12课 张志华 统计机器学习 EM算法(1,2,3)本文大致思路是先原创 2017-09-28 16:26:03 · 608 阅读 · 0 评论 -
【机器学习】使用python实现kNN算法
kNN(k-nearest neighbor)是一种基本的分类与回归的算法。这里我们先只讨论分类中的kNN算法。k邻近算法的输入为实例的特征向量,对对应于特征空间中的点;输出为实例的类别,可以取多类,k近邻法是建设给定一个训练数据集,其中的实例类别已定,分类时,对于新的实例,根据其k个最邻近的训练实例的类别,通过多数表决等方式进行预测。所以可以说,k近邻法不具有显示的学习过程。k临近算法实原创 2017-03-13 15:05:42 · 5719 阅读 · 0 评论 -
【机器学习】使用python实现ANN
1.简要介绍神经网络神经网络是具有适应性的简单单元组成的广泛并行互联的网络。它的组织能够模拟生物神经系统对真实世界物体做做出的反应。神经网络的最基本的成分是神经元模型,也就是最简单的神经元模型。“M-P模型”如上图所示,神经元接收到来自n个其他神经元传递过来的输入信号,这些信号通过带权重的链接进行传递。神经元接收到的总输入值将与神经元的阈值进行比较,然后通过“激活函数”处理以产原创 2017-03-21 00:02:46 · 22136 阅读 · 7 评论 -
【机器学习】Fisher Kernels on Visual Vocabularies for Image Categorization 学习
在模式分类领域,结合了生成和判别模式的 Fisher kernel 方法是一个非常有效的框架。该策略是使用来自生成模型的梯度向量来表示信号,然后再将这种表示送入到判别模型的分类器中。论文中将该框架应用到图像分类领域,其中输入信号是图像,并将视觉词汇作为前在的生成模型——混合高斯模型,用来表示图像中底层特征的近似分布。Fisher kernel 可以看做是 Bag-of-visterms 的一种...原创 2019-04-17 18:57:20 · 1234 阅读 · 0 评论