机器学习
孤独de雨
这个作者很懒,什么都没留下…
展开
-
特征选择算法之开方检验
前文提到过,除了分类算法以外,为分类文本作处理的特征提取算法也对最终效果有巨大影响,而特征提取算法又分为特征选择和特征抽取两大类,其中特征选择算法有互信息,文档频率,信息增益,开方检验等等十数种,这次先介绍特征选择算法中效果比较好的开方检验方法。大家应该还记得,开方检验其实是数理统计中一种常用的检验两个变量独立性的方法。(什么?你是文史类专业的学生,没有学过数理统计?那你做什么文本分类?在这捣转载 2014-11-24 13:13:33 · 393 阅读 · 0 评论 -
机器学习入门:线性回归及梯度下降
源地址:http://blog.csdn.net/xiazdong/article/details/7950084本文会讲到:(1)线性回归的定义(2)单变量线性回归(3)cost function:评价线性回归是否拟合训练集的方法(4)梯度下降:解决线性回归的方法之一(5)feature scaling:加快梯度下降执行速度的方法(6)多变量线性回归转载 2015-03-02 09:37:27 · 542 阅读 · 0 评论 -
深入浅出的讲解傅里叶变换(一)
我保证这篇文章和你以前看过的所有文章都不同,这是12年还在果壳的时候写的,但是当时没有来得及写完就出国了……于是拖了两年,嗯,我是拖延症患者…… 这篇文章的核心思想就是: 要让读者在不看任何数学公式的情况下理解傅里叶分析。 傅里叶分析不仅仅是一个数学工具,更是一种可以彻底颠覆一个人以前世界观的思维模式。但不幸的是,傅里叶分析的公式看起来太复杂了,所以很多大一新生上来就懵圈并从此对转载 2015-01-13 19:57:18 · 577 阅读 · 0 评论 -
深入浅出的讲解傅里叶变换(二)
原地址:http://www.elecfans.com/engineer/blog/20140529344449.html 上一篇文章发出来之后,为了掐死我,大家真是很下工夫啊,有拿给姐姐看的,有拿给妹妹看的,还有拿给女朋友看的,就是为了听到一句“完全看不懂啊”。幸亏我留了个心眼,不然就真的像标题配图那样了。我的文章题目是,如果看了这篇文章你“还”不懂就过来掐死我,潜台转载 2015-01-13 20:20:45 · 753 阅读 · 0 评论 -
浅谈deep stacking network --- 一种比较实用的deep learning算法
原地址:http://www.dataguru.cn/article-3361-1.html摘要: deep stacking network 是 Li Deng 提出的一种判别模型。现在的应用主要在于CTR IR和语言以及图像的分类和回归。分享一下组会的讲稿。附组会的ppthttp://vdisk.weibo.com/s/zfic-IP2yag转载 2015-06-08 16:28:08 · 4675 阅读 · 1 评论 -
隐马尔可夫模型(HMM)攻略
隐马尔可夫模型 (Hidden Markov Model,HMM) 最初由 L. E. Baum 和其它一些学者发表在一系列的统计学论文中,随后在语言识别,自然语言处理以及生物信息等领域体现了很大的价值。平时,经常能接触到涉及 HMM 的相关文章,一直没有仔细研究过,都是蜻蜓点水,因此,想花一点时间梳理下,加深理解,在此特别感谢 52nlp 对 HMM 的详细介绍。 考虑下面交通灯的例子转载 2015-06-12 14:39:09 · 1085 阅读 · 0 评论 -
浅谈流形学习
原地址:http://blog.pluskid.org/?p=533总觉得即使是“浅谈”两个字,还是让这个标题有些过大了,更何况我自己也才刚刚接触这么一个领域。不过懒得想其他标题了,想起来要扯一下这个话题,也是因为和朋友聊起我自己最近在做的方向。Manifold Learning 或者仅仅 Manifold 本身通常就听起来颇有些深奥的感觉,不过如果并不是想要进行严格的理论推导的话,也可以转载 2015-08-26 15:58:38 · 731 阅读 · 1 评论 -
Gaussian Mixture Model
源地址:http://blog.pluskid.org/?p=39上一次我们谈到了用 k-means 进行聚类的方法,这次我们来说一下另一个很流行的算法:Gaussian Mixture Model (GMM)。事实上,GMM 和 k-means 很像,不过 GMM 是学习出一些概率密度函数来(所以 GMM 除了用在 clustering 上之外,还经常被用于 density estima转载 2015-10-19 14:30:19 · 870 阅读 · 0 评论 -
从最大似然估计法到EM算法
源地址:http://www.cnblogs.com/GuoJiaSheng/p/3966812.html?utm_source=tuicool什么是最大似然估计? 问题:给定一组观察数据还有一个参数待定的模型,如何来估计这个未知参数呢? 观察数据(x1,y1)......(xn,yn) 待定模型参数为θ,模型为f(x;θ)。这时候可以借助观察数据来估计这个θ。转载 2015-10-15 11:17:37 · 4037 阅读 · 0 评论 -
KNN与K-Means的区别
原地址:http://www.tuicool.com/articles/qamYZvKNN(K-Nearest Neighbor)介绍Wikipedia上的 KNN词条 中有一个比较经典的图如下: KNN的算法过程是是这样的:从上图中我们可以看到,图中的数据集是良好的数据,即都打好了label,一类是蓝色的正方形,一类是红色的三角形,那个绿色的圆形是我们待分转载 2016-09-27 11:05:25 · 4301 阅读 · 0 评论 -
朴素贝叶斯分类器的应用
源地址:http://www.ruanyifeng.com/blog/2013/12/naive_bayes_classifier.html作者: 阮一峰日期: 2013年12月16日生活中很多场合需要用到分类,比如新闻分类、病人分类等等。本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法。一、病转载 2016-09-28 11:04:26 · 341 阅读 · 0 评论 -
分类算法之朴素贝叶斯分类(Naive Bayesian classification)
1.1、摘要 贝叶斯分类是一类分类算法的总称,这类算法均以贝叶斯定理为基础,故统称为贝叶斯分类。本文作为分类算法的第一篇,将首先介绍分类问题,对分类问题进行一个正式的定义。然后,介绍贝叶斯分类算法的基础——贝叶斯定理。最后,通过实例讨论贝叶斯分类中最简单的一种:朴素贝叶斯分类。1.2、分类问题综述 对于分类问题,其实谁都不会陌生,说我们每个人每天都在执行分类操作一点转载 2016-09-28 11:06:43 · 587 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
原地址:http://blog.csdn.net/v_july_v/article/details/7624837支持向量机通俗导论(理解SVM的三层境界)作者:July ;致谢:pluskid、白石、JerryLead。出处:结构之法算法之道blog。前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简转载 2014-12-30 12:19:44 · 727 阅读 · 0 评论 -
Dirichlet Process and Hierarchical Dirichlet Process
原地址:http://hi.baidu.com/zentopus/item/46a622f5ef13e4c5a835a28e 在这篇文章里,我会初步地介绍Dirichlet Process以及Hierarchical Dirichlet Process,不过仅仅局限于模型本身,并不涉及其inference和具体的application。 首先,我将简单地转载 2014-12-04 10:38:24 · 621 阅读 · 0 评论 -
特征选择方法之信息增益
前文提到过,除了开方检验(CHI)以外,信息增益(IG,Information Gain)也是很有效的特征选择方法。但凡是特征选择,总是在将特征的重要程度量化之后再进行选择,而如何量化特征的重要性,就成了各种方法间最大的不同。开方检验中使用特征与类别间的关联性来进行这个量化,关联性越强,特征得分越高,该特征越应该被保留。在信息增益中,重要性的衡量标准就是看特征能够为分类系统带来多少信息,带来的转载 2014-11-24 13:28:49 · 492 阅读 · 0 评论 -
主题模型-LDA浅析
原地址:http://blog.csdn.net/huagong_adu/article/details/7937616(一)LDA作用 传统判断两个文档相似性的方法是通过查看两个文档共同出现的单词的多少,如TF-IDF等,这种方法没有考虑到文字背后的语义关联,可能在两个文档共同出现的单词很少甚至没有,但两个文档是相似的。 举个例子,有两个句子分别如转载 2014-12-05 08:57:36 · 474 阅读 · 0 评论 -
从线性分类器到卷积神经网络
原地址:http://zhangliliang.com/2014/06/14/from-lr-to-cnn/前言本文大致分成两大部分,第一部分尝试将本文涉及的分类器统一到神经元类模型中,第二部分阐述卷积神经网络(CNN)的发展简述和目前的相关工作。本文涉及的分类器(分类方法)有:线性回归逻辑回归(即神经元模型)神经网络(NN)支持向量机(SVM)卷积神经网络(CNN转载 2014-12-09 16:36:30 · 16906 阅读 · 0 评论 -
对线性回归、逻辑回归、各种回归的概念学习
源地址:http://blog.csdn.net/viewcode/article/details/8794401回归问题的条件/前提:1) 收集的数据2) 假设的模型,即一个函数,这个函数里含有未知的参数,通过学习,可以估计出参数。然后利用这个模型去预测/分类新的数据。1. 线性回归假设 特征 和 结果 都满足线性。即不大于一次方。这个是针对 收集的数据而转载 2014-12-09 16:13:21 · 649 阅读 · 0 评论 -
Deep Learning(深度学习)关于特征
原地址:http://blog.csdn.net/zouxy09/article/details/8775488因为我们要学习的是特征的表达,那么关于特征,或者说关于这个层级特征,我们需要了解地更深入点。所以在说Deep Learning之前,我们有必要再啰嗦下特征(呵呵,实际上是看到那么好的对特征的解释,不放在这里有点可惜,所以就塞到这了)。 四、关于特征转载 2014-12-27 19:05:14 · 9497 阅读 · 0 评论 -
Deep Learning(深度学习)Deep Learning的基本思想
原地址:http://blog.csdn.net/zouxy09/article/details/8775518好了,到了这一步,终于可以聊到Deep learning了。上面我们聊到为什么会有Deep learning(让机器自动学习良好的特征,而免去人工选取过程。还有参考人的分层视觉处理系统),我们得到一个结论就是Deep learning需要多层来获得更抽象的特征表达。那么多转载 2014-12-27 19:09:32 · 1153 阅读 · 0 评论 -
Deep Learning(深度学习)Deep Learning的常用模型或者方法(一)
原地址:http://blog.csdn.net/zouxy09/article/details/8775524九、Deep Learning的常用模型或者方法9.1、AutoEncoder自动编码器 Deep Learning最简单的一种方法是利用人工神经网络的特点,人工神经网络(ANN)本身就是具有层次结构的系统,如果给定一个神经网络,我们假设其输出与输入转载 2014-12-27 19:12:33 · 1221 阅读 · 0 评论 -
Deep Learning(深度学习)Deep Learning的常用模型或者方法(二)
原地址:http://blog.csdn.net/zouxy09/article/details/87813969.3、Restricted Boltzmann Machine (RBM)限制波尔兹曼机 假设有一个二部图,每一层的节点之间没有链接,一层是可视层,即输入数据层(v),一层是隐藏层(h),如果假设所有的节点都是随机二值变量节点(只能取0或者1值),同时假设全转载 2014-12-27 19:17:35 · 712 阅读 · 0 评论 -
从自联想神经网络到深度神经网络
原地址:http://blog.csdn.net/celerychen2009/article/details/9079715深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第六篇,简要描述深度神经网络模型。1. 自联转载 2014-12-27 19:21:07 · 904 阅读 · 0 评论 -
Deep Learning(深度学习)Convolutional Neural Networks卷积神经网络
原地址:http://blog.csdn.net/zouxy09/article/details/87815439.5、Convolutional Neural Networks卷积神经网络 卷积神经网络是人工神经网络的一种,已成为当前语音分析和图像识别领域的研究热点。它的权值共享网络结构使之更类似于生物神经网络,降低了网络模型的复杂度,减少了权值的数量。该优点在网转载 2014-12-27 19:23:47 · 2432 阅读 · 0 评论 -
线性判别分析(Linear Discriminant Analysis)
原地址:http://www.cnblogs.com/jerrylead/archive/2011/04/21/2024384.html1. 问题 之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。转载 2014-12-29 16:17:04 · 651 阅读 · 0 评论 -
运动检测ViBe算法python实现
运动物体检测一般分为背景建模和运动物体分析两步。即构建不包含运动物体的背景模型。然后将新的视频帧和背景模型对比,找出其中的运动物体。目前比较好的背景建模算法有两种:1)文章(Zivkovic Z. (2004) Improved adaptive Gausianmixture model for backgroundsubtraction, Proceedings of ICPR 2004,原创 2016-07-02 17:30:11 · 11810 阅读 · 82 评论