机器学习【算法】
文章平均质量分 72
TaoTaoFu
这个作者很懒,什么都没留下…
展开
-
变分自动编码器(VAE)
VAE(Variational Autoencoder)的原理Kingma, Diederik P., and Max Welling. "Auto-encoding variational bayes."arXiv preprint arXiv:1312.6114(2013).论文的理论推导见:https://zhuanlan.zhihu.com/p/25401928中文翻译为:...转载 2019-12-17 17:20:43 · 1255 阅读 · 0 评论 -
LDA 线性判别分析
一、简介 相较于FLD(Fisher Linear Decriminant),LDA假设:1.样本数据服从正态分布,2.各类得协方差相等。虽然这些在实际中不一定满足,但是LDA被证明是非常有效的降维方法,其线性模型对于噪音的鲁棒性效果比较好,不容易过拟合。二、LDA分类【二分类】 1.原理小节 对于二分类L转载 2017-08-17 15:51:22 · 387 阅读 · 0 评论 -
主成分分析 PCA
原文地址:http://blog.codinglabs.org/articles/pca-tutorial.html转载 2017-08-17 23:12:30 · 404 阅读 · 0 评论 -
EM算法【1】
EM算法转载 2017-08-16 17:53:04 · 261 阅读 · 0 评论 -
EM算法【2】
转载 2017-08-18 12:49:34 · 313 阅读 · 0 评论 -
决策树ID3
今天,我来讲解的是决策树。对于决策树来说,主要有两种算法:ID3算法和C4.5算法。C4.5算法是对ID3算法的改进。今天主要先讲ID3算法,之后会讲C4.5算法和随机森林等。 Contents 1. 决策树的基本认识 2. ID3算法介绍 3. 信息熵与信息增益 4. ID3算法的C++实现 1. 决策树的基本认识转载 2017-08-11 12:57:35 · 465 阅读 · 0 评论 -
机器学习三要素
通过对机器学习探索,发现其实无论用什么方法想要达到什么目的,其最终都是要求的一个能对新数据进行预测的公式,该公式可能是以概率的形式出现,即P(Y|X);也可能是以函数的形式出现,即y=f(x)。那我们究竟如何才能得到我们想要的公式呢?首先我们得明确我们求解思路,而思路可以归咎为以下公式: 公式(方法) = 模型 +原创 2017-03-07 09:48:18 · 3853 阅读 · 0 评论 -
感知机对偶形式完美解释
转载 2017-09-21 14:39:38 · 2493 阅读 · 1 评论 -
形象的解释神经网络激活函数的作用
查阅资料和学习,大家对神经网络中激活函数的作用主要集中下面这个观点:激活函数是用来加入非线性因素的,解决线性模型所不能解决的问题。下面我分别从这个方面通过例子给出自己的理解~@lee philip@颜沁睿俩位的回答已经非常好了,我举的例子也是来源于他们,在这里加入了自己的思考,更加详细的说了一下~开讲~首先我们有这个需求,就是二分类问题,如我要将转载 2017-11-09 17:39:09 · 559 阅读 · 0 评论 -
RNN和LSTM推导与实现
BPTT(Back Propagation Through Time)首先来看看怎么处理RNN。RNN展开网络如下图RNN展开结构.jpgRNN节点结构.jpg现令第t时刻的输入表示为,隐层节点的输出为,输出层的预测值,输入到隐层的权重矩阵,隐层自循环的权重矩阵,隐层到输出层的权重矩阵,对应的偏执向量分别表示为,输入层转载 2017-11-18 18:54:25 · 966 阅读 · 0 评论 -
AlexNet分析
转载地址:http://blog.csdn.net/u014114990/article/details/51125776转载 2017-12-06 14:58:40 · 1265 阅读 · 0 评论 -
对全连接层的深入理解
原文地址:http://m.blog.csdn.net/YiLiang_/article/details/60468530理解全连接层连接层实际就是卷积核大小为上层特征大小的卷积运算,卷积后的结果为一个节点,就对应全连接层的一个点。(理解)假设最后一个卷积层的输出为7×7×512,连接此卷积层的全连接层为1×1×4096。如果将这个全连接层转化为卷积层:1.共有4096转载 2017-12-06 12:18:43 · 7568 阅读 · 0 评论 -
GMM-HMM在语音中的应用常识
本人正在攻读计算机博士学位,目前一直再学习各种模型啊算法之类的。所以一直想把自己的学习过程总结一下,所以就开通了这个博客。这两天一直再看语音识别方面的知识,想把自己的理解总结一下,希望对其他学习的人有所帮助。提前需要掌握的知识:语音信号基础:语音信号的表示形式、分帧、特征(MFCC)、音素等等HMM模型:离散隐马尔科夫模型级3个问题的求解方法GMM:混合高斯模型,用于连续隐马尔科夫转载 2017-11-28 12:08:15 · 2679 阅读 · 1 评论 -
BatchNormalization、LayerNormalization、InstanceNorm、GroupNorm、SwitchableNorm总结
https://blog.csdn.net/liuxiao214/article/details/81037416原创 2019-02-21 20:54:29 · 440 阅读 · 0 评论 -
【深度学习】深入理解Batch Normalization批标准化
这几天面试经常被问到BN层的原理,虽然回答上来了,但还是感觉答得不是很好,今天仔细研究了一下Batch Normalization的原理,以下为参考网上几篇文章总结得出。 Batch Normalization作为最近一年来DL的重要成果,已经广泛被证明其有效性和重要性。虽然有些细节处理还解释不清其理论原因,但是实践证明好用才是真的好,别忘了DL从Hinton对深层网络做Pre-T...转载 2019-02-22 18:55:04 · 293 阅读 · 0 评论 -
RELU 激活函数及其他相关的函数
本博客仅为作者记录笔记之用,不免有很多细节不对之处。还望各位看官能够见谅,欢迎批评指正。更多相关博客请猛戳:http://blog.csdn.net/cyh_24如需转载,请附上本文链接:http://blog.csdn.net/cyh_24/article/details/50593400日常 coding 中,我们会很自然的使用一些激活函数,比如:sigmo转载 2017-05-19 17:03:12 · 708 阅读 · 0 评论 -
softmax 代码实现
最近一直在外面,李航那本书没带在身上,所以那本书的算法实现估计要拖后了。 这几天在看Andrew Ng 机器学习的课程视频,正好看到了Softmax分类器那块,发现自己之前理解perceptron与logistic regression是有问题的。这两个算法真正核心的不同在于其分类函数的不同,perceptron采用一个分段函数作为分类器,logistic regression采用sigm转载 2017-05-08 11:36:39 · 3710 阅读 · 0 评论 -
朴素贝叶斯算法
0、写在前面的话 我个人一直很喜欢算法一类的东西,在我看来算法是人类智慧的精华,其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中,并解决了实际问题后,那种快感更是我在其它地方体会不到的。 一直想写关于算法的博文,也曾写过零散的两篇,但也许是相比于工程性文章来说太小众,并没有引起大家的兴趣。最近面临毕业找工作,为了能给自己增加筹码,决定再次复习算法方面的知识,我决转载 2016-10-12 23:30:16 · 980 阅读 · 0 评论 -
机器学习算法中如何选取超参数:学习速率、正则项系数、minibatch size
本文是《Neural networks and deep learning》概览 中第三章的一部分,讲机器学习算法中,如何选取初始的超参数的值。(本文会不断补充)学习速率(learning rate,η)运用梯度下降算法进行优化时,权重的更新规则中,在梯度项前会乘以一个系数,这个系数就叫学习速率η。下面讨论在训练时选取η的策略。固定的学习速率。如果学习速率太小,则会转载 2016-10-23 17:54:07 · 802 阅读 · 0 评论 -
朴素贝叶斯算法【变量连续与间断的讨论】
生活中很多场合需要用到分类,比如新闻分类、病人分类等等。本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法。一、病人分类的例子让我从一个例子开始讲起,你会看到贝叶斯分类器很好懂,一点都不难。某个医院早上收了六个门诊病人,如下表。 症状 职业 疾病 打喷嚏 护士 感冒转载 2016-10-13 15:01:58 · 7116 阅读 · 3 评论 -
决策树【C4.5算法】
1. C4.5算法简介 C4.5是一系列用在机器学习和数据挖掘的分类问题中的算法。它的目标是监督学习:给定一个数据集,其中的每一个元组都能用一组属性值来描述,每一个元组属于一个互斥的类别中的某一类。C4.5的目标是通过学习,找到一个从属性值到类别的映射关系,并且这个映射能用于对新的类别未知的实体进行分类。 C4.5由J.Ross Quinlan在ID3的转载 2016-10-15 22:52:30 · 2091 阅读 · 0 评论 -
python实现决策树C4.5算法(ID3基础上改进)
一、概论 C4.5主要是在ID3的基础上改进,ID3选择(属性)树节点是选择信息增益值最大的属性作为节点。而C4.5引入了新概念“信息增益率”,C4.5是选择信息增益率最大的属性作为树节点。 二、信息增益 以上公式是求信息增益率(ID3的知识点) 三、信息增益率 信息增益率是在求出信息增益值在除以。 例如下面公式为求属性为“outlook”的值: 四转载 2016-10-16 10:38:10 · 965 阅读 · 0 评论 -
Logistic回归原理【似然函数与梯度选择】
Logistic回归为概率型非线性回归模型,是研究二分类观察结果与一些影响因素之间关系的一种多变量分析方法。通常的问题是,研究某些因素条件下某个结果是否发生,比如医学中根据病人的一些症状来判断它是否患有某种病。 在讲解Logistic回归理论之前,我们先从LR分类器说起。LR分类器,即Logistic Regression Classifier。在分类情形下转载 2016-10-16 18:24:25 · 9492 阅读 · 0 评论 -
感知机与梯度下降算法
概述 任意选取一超平面w0、b0,然后用随机梯度下降算法不断极小化L(w, b)。 Ps: 极小化的过程不是一次使M中的所有误分类点的梯度下降,而是随机选取一个误分类点使其梯度下降。过程概述 1,对于L(w, b) = -yi(w·xi+ b),L(w, b)的梯度如下:转载 2016-11-15 17:11:06 · 5020 阅读 · 1 评论 -
高斯判别分析(GDA)和朴素贝叶斯(NB)
本文先介绍生成模型(generative model)和判别模型(discriminative model)的区别,然后重点介绍生成模型中的两个例子:高斯判别分析(Gaussian discriminant analysis)和朴素贝叶斯方法(Naive Bayes)生成模型和判别模型监督学习一般学习的是一个决策函数:y=f(x)或者是条件概率分布:p(y|转载 2016-12-08 20:16:34 · 504 阅读 · 0 评论 -
kNN与KD-Tree
转载原文:http://blog.csdn.net/u010551621/article/details/44813299前几天小组讨论会上展示了kd-tree(k-dimension tree),感觉这玩意儿还挺有用的,所以学习了一下它的原理,然后把其中的构建kd-tree以及对应的查询操作实现了一下,现在跟大家分享一下首先说一下什么是kd-tree把转载 2017-02-28 11:08:49 · 882 阅读 · 0 评论 -
kNN原理及Python代码实现
转载出处:http://blog.csdn.net/suipingsp/article/details/41964713(一)KNN依然是一种监督学习算法KNN(K Nearest Neighbors,K近邻 )算法是机器学习所有算法中理论最简单,最好理解的。KNN是一种基于实例的学习,通过计算新数据与训练数据特征值之间的距离,然后选取K(K>=1)个距离最近的邻居进行分类转载 2017-02-28 11:39:33 · 3541 阅读 · 0 评论 -
C4.5分类树
1. 算法背景介绍分类树(决策树)是一种十分常用的分类方法。他是一种监管学习,所谓监管学习说白了很简单,就是给定一堆样本,每个样本都有一组属性和一个类别,这些类别是事先确定的,那么通过学习得到一个分类器,这个分类器能够对新出现的对象给出正确的分类。这样的机器学习就被称之为监督学习。分类本质上就是一个map的过程。C4.5分类树就是决策树算法中最流行的一种。下面给出一个数据集作为算法例子的基转载 2016-10-29 21:56:00 · 575 阅读 · 0 评论 -
SVM中KKT条件介绍
KKT条件介绍 最近学习的时候用到了最优化理论,但是我没有多少这方面的理论基础。于是翻了很多大神的博客把容易理解的内容记载到这篇博客中。因此这是篇汇总博客,不算是全部原创,但是基础理论,应该也都差不多吧。因才疏学浅,有纰漏的地方恳请指出。 KKT条件是解决最优化问题的时用到的一种方法。我们这里提到的最优化问题通常是指对于给定的某一函数,求其在指定作用域上的全局转载 2017-02-24 15:59:30 · 12159 阅读 · 1 评论 -
logistic回归模型【求解参数方法汇总】
此文引至:http://blog.csdn.net/u014664226/article/details/516855671.logistic回归模型logistic回归是用线性模型解决分类问题的算法 考虑现在有一个样本集合,样本特征有两维,要用一条直线作为这两类的分界线,如下图所示 也就是说logistic算法就是要找到这么一条直线,使得可以对样本进行分类转载 2016-10-23 11:19:19 · 10815 阅读 · 0 评论 -
Logistic回归总结
Logistic回归总结作者:洞庭之子微博:洞庭之子-Bing(2013年11月)PDF下载地址:http://download.csdn.net/detail/lewsn2008/65474631.引言看了Stanford的Andrew Ng老师的机器学习公开课中关于Logistic Regression的讲解,然后又看了《机器学习实战》中转载 2017-05-11 16:35:54 · 394 阅读 · 0 评论 -
Softmax回归
本篇博客主要是参考吴恩达教授的Ufldl教程,教程链接如下:http://ufldl.stanford.edu/wiki/index.php/Softmax%E5%9B%9E%E5%BD%92OK!开启,本次的学习之旅吧! 1、Softmax回归解决什么问题呢?通过前面的学习,我们知道线性回归解决的连续值的预测,逻辑回归解决的是离散值的预测,而且针对二分类问题转载 2017-05-08 10:43:27 · 411 阅读 · 0 评论 -
决策树的绘制
在看机器学习实战时候,到第三章的对决策树画图的时候,有一段递归函数怎么都看不懂,因为以后想选这个方向为自己的职业导向,抱着精看的态度,对这本树进行地毯式扫描,所以就没跳过,一直卡了一天多,才差不多搞懂,才对那个函数中的plotTree.xOff的取值,以及计算cntrPt的方法搞懂,相信也有人和我一样,希望能够相互交流。先把代码贴在这里:import matplotlib.pypl转载 2016-10-09 21:56:58 · 5661 阅读 · 1 评论