机器学习
文章平均质量分 57
涵子涵
兴趣领域:机器学习,图像处理,数据挖掘,计算金融,心理学,古典哲学,C++,Matlab,Opencv
希望结识更多志同道合的研究同僚,多多学习!
展开
-
机器学习系列(2):logistic回归,贝叶斯(bayes)方法
前言:这章主要介绍logistic回归和bayes法。两者都属分类,前者引入了logistic函数,后者引入了贝叶斯定理,都是比较基础的数学知识。 但是logistic无需先验的训练样本,后者需要。 贝叶斯法很强大,很多邮件、网页筛选都有用到,这里只介绍朴素bayes法。理解其关键在于应用中条件概率的提取。 引用《机原创 2014-03-19 16:41:33 · 5737 阅读 · 4 评论 -
Deep Learning 的挑战: Extreme Learning Machine(超限学习机)?
序: 今天刚听了一个关于 Extreme Learning Machine (超限学习机)的讲座,讲员就是ELM的提出者 黄广斌 教授。ELM的效果自然是比SVM,BP 算法优异很多。并且相对比 当下最火的 Deep Learning, 其有很大的优势: 运算速度非常快,准确率高,能Online Sequential Learning。算法还没仔细研究,先上图吧。正文:原创 2014-10-21 14:47:45 · 10552 阅读 · 19 评论 -
BP神经网络详细讲解---赞100!
学习是神经网络一种最重要也最令人注目的特点。在神经网络的发展进程中,学习算法的研究有着十分重要的地位。目前,人们所提出的神经网络模型都是和学习算 法相应的。所以,有时人们并不去祈求对模型和算法进行严格的定义或区分。有的模型可以有多种算法.而有的算法可能可用于多种模型。不过,有时人们也称算法 为模型。自从40年代Hebb提出的学习规则以来,人们相继提出了各种各样的学习算法。其中以在1986年Ru转载 2014-05-12 10:51:32 · 12908 阅读 · 4 评论 -
关于人工智能的一些思考~
最近神经网络实在太火了,其本质上来说就是人们模拟人脑的思维结构去有意识地去赋予一台机器在既定的程序下去学习某一问题的规律~如深度学习,他可以从给定的素材中自主地学习得到其特征,并进行一些分类或者预测活动,就如人类通过思考去判断。 这样的人工智能化必将是以后的趋势,其可以代替人类做很多事情。 但是问题来了,我们现在所谓的机器学习算法只能称为小众型,如深度学习,他的成功还在于能原创 2014-11-16 23:08:42 · 1236 阅读 · 0 评论 -
Word2vec 浅谈
本人还没有做过自然语言处理,但是基于Deep Learning 的关注,自然也了解了一些Word2vec的强大。 Word2vec 是google 在2013年提供的一款将词表征为实数值向量的高效工具。而Word2vec输出的词向量可用于做NLP 相关的工作,比如聚类、找同义词、词性分析等。Word2vec 大受欢迎的一个原因是其高效性, Tomas Mikolov 在[1]原创 2014-11-13 14:52:22 · 2448 阅读 · 2 评论 -
NIPS 2013
刚刚过去的NIPS 2013不愧是机器学习最高水平的盛会,几乎所有可以想象得到的知名学者都参加了会议,在会上也看到了好多有意思的idea。相比起之前参加的CVPR,NIPS的会议议程安排的要紧凑太多:主会期间从早上9点开始听报告,一直到下午6点,中午吃饭休息一个半小时,然后晚上7点到夜里12点是poster session,尽管有5个小时,可因为poster很多,有意思的也很多,5个小时有时候都不转载 2014-11-21 11:05:57 · 2923 阅读 · 0 评论 -
ICML 2014
ICML第一次在中国举行,会场在北京的BICC。外面看起来不错,但里面却不如想象的好。ICML期间还有好几个会也在BICC开,楼里鱼龙混杂,给人感觉也并不太好。尤其最初几天北京男科论坛也在同一个会场开,每每路过,都让人觉得对比过于鲜明实在想笑。好在外国友人大都不知道隔壁开的是什么会。虽然会场一般,组织工作也一般,但论文质量还是不错的,有不少有意思的东西,照例总结一下,列个清单。这次由于有自转载 2014-11-21 11:02:43 · 1967 阅读 · 0 评论 -
ELM 极限学习机与SVM支持向量机
在上一篇《DeepLearning 的挑战: Extreme Learning Machine(超限学习机)?》 中介绍了一些ELM与DL 的一些比较,这篇主要介绍ELM的原理。首先,ELM的核心就是将复杂的迭代过程转变为隐层参数随机产生。其次,ELM 是一个神经网络,有输入层、隐藏层,输出层。最后,ELM 的多分类效果优于SVM。 对于训练样本集{xi,ti} i=1-N,原创 2014-11-25 11:20:30 · 14440 阅读 · 1 评论 -
机器学习系列(8):主成分分析(PCA)及白化(ZCA)
主成分分析(PCA)是一种数据降维算法。白化主要是降低输入特征的冗余性。假设X 是m*n的矩阵,由n个样本(m维特征)组成。现要对X 进行线性变换为另一个矩阵Y,使得Y消除了X各特征的相关性,即Y的协方差矩阵为对角矩阵。X变换到Y的线性变换公式为: Y=PX (1)则,YY’=PX(PX)’=PXX’P’ (2) 对XX’进行特征值分解,则XX’=QD原创 2014-07-31 17:45:11 · 2018 阅读 · 0 评论 -
马尔柯夫预测法
PS:这是我看到的一篇比较通俗易懂的马尔科夫预测详解!内容比较多,但是抓住主线(下一刻的状态只与当前有关,与当前以前即过去无关!)马尔柯夫预测法 马尔柯夫预测法:马尔柯夫预测以俄国数学家A.A.Markov名字命名,是利用状态之间转移概率矩阵预测事件发生的状态及其发展变化趋势,也是一种随时间序列分析法。它基于马尔柯夫链,根据事件的目前状况预测其将来各个时刻(或时期)的变动转载 2014-12-23 10:25:54 · 9718 阅读 · 0 评论 -
Deep Learning 博文推荐和学习资料
1. http://www.cnblogs.com/tornadomeet/tag/Deep%20Learning/default.html?page=1博客园tornadomeet的博文,楼主参加了天津的DL学习,里面有很全的DL学习笔记,很值得学习。2. http://blog.csdn.net/zouxy09/article/details/8781396CSDN原创 2014-04-14 22:02:56 · 2474 阅读 · 3 评论 -
机器学习系列(3):支持向量机(SVM)
前言:支持向量机(support vector machine)是本人耗时长的一篇。里面涉及到了很多优化的概念,要弄清楚,必须得扎进去,细细啃。 SVM 是一种有监督的分类器。 本质:寻找一个超平面,使得离超平面比较近的点能有更大的间距。 来自对偶问题(百度): 原始问题和对偶问题的标准形式为 原始问原创 2014-03-24 17:20:58 · 1258 阅读 · 0 评论 -
机器学习系列(4):混合高斯模型+EM+K-means算法
前言:EM和K-means算法都是机器学习最基本的算法,原创 2014-04-04 16:46:00 · 1755 阅读 · 2 评论 -
机器学习系列(1):线性回归(regression)和梯度下降(gradient descent)
前言:最近打算把机器学习的基本算法再梳理一下,看看能不能给我正在研究的Deep Learing找点突破口。这一篇主要介绍回归模型和梯度下降。 PS:由于本人比较懒,所以直接在纸上写下来了!O(∩_∩)O~ 大家要是有什么问题请留言给我,希望大家共同学习!正文:原创 2014-03-13 13:45:18 · 2081 阅读 · 3 评论 -
机器学习系列(5):决策树之ID3和C4.5
前言:决策树系列看的比较揪心,道理很清楚,原创 2014-05-05 17:39:05 · 1366 阅读 · 0 评论 -
机器学习系列(7):Adaboosting算法和KNN算法
前言:Adaboosting算法核心:弱分类器原创 2014-05-27 20:18:22 · 3021 阅读 · 0 评论 -
机器学习系列(6):BP神经网络
前言:BP神经网络的原创 2014-05-27 19:45:45 · 1245 阅读 · 3 评论 -
Deep Learning 系列(1):RBM(受限波尔兹曼机)和 DBN(深信度神经网络)
前言:Deep Learning 是近几年来最火的原创 2014-04-14 21:55:09 · 10700 阅读 · 7 评论 -
Deep Learning 系列(2):NN(神经网络)及反向传播算法
前一章介绍了Deep Learning 中DBN算法(DL 系列一),发现当参数W经过stacked RBM 后,还需要Supervised Learning,即NN来优化参数。然而怎样去优化呢?参见 UFLDL教程之神经网络与反向传导算法,以及Dark_Scope 的NN代码解读。本章将结合DBN与NN的算法推导以及代码,针对重点作讲解。代码下载:DeepLearnToolb原创 2014-07-21 22:01:59 · 3477 阅读 · 0 评论 -
Deep Learning 系列(4):稀疏编码(sparse coding)和主成分分析(ICA)
一直犹豫稀疏编码怎么写,来来回回看了好几遍的UFLDL。因为这不仅是DL深度学习的重要概念,也是我这段时间一直在研究的stacked ISA 深度特征学习的支柱。这章将主要介绍一下稀疏编码的主要概念,及主成分分析的方法。稀疏编码算法是一种无监督(unsupervised)学习方法,它用来寻找一组“超完备”基向量来更高效地表示样本数据。(设x的维数为n,则k>n)超完备基能更有效地找原创 2014-07-25 17:31:17 · 4947 阅读 · 3 评论 -
Deep Learning 系列(3):CNN(卷积神经网络)
早就想写CNN的博文了,最近刚好有空。总体来说,CNN框架不难理解,关键是里面的实现细节值得思考。初次了解,可以先看看UFLDL教程中的Convolution和Pooling。这基本上是CNN的核心。简单理解:Convolution即用一个滑动的小窗口去卷积一个大的图像。 Pooling 即滑动的小窗口各权值为1/m (m 为权值个数)。另外,在pooling中原创 2014-07-22 20:33:44 · 3000 阅读 · 0 评论 -
时间序列之重复模式
前几天参加了数据挖掘的大会,听了一个有趣的讲座,很有趣,先上图,改天详解一下~参考文献:1. Finding Time Series Motifs in Disk-Resident Data原创 2014-12-25 20:14:49 · 2697 阅读 · 3 评论