机器学习
tongle.Wang
这个作者很懒,什么都没留下…
展开
-
PCA算法学习_2(PCA理论的matlab实现)
前言 在前面的博文PCA算法学习_1(OpenCV中PCA实现人脸降维)中已经初步介绍了PCA算法的大概流程及在人脸降维上面的应用。本文就进一步介绍下其理论基础和matlab的实现(也是网上学者的代码)。 开发环境:Matlab2012a 基础 假设X是一个m*n的矩阵,是由样本数据构成的矩阵。其中m表示样本的属性维数,n表示样本的个数。现在要对X转载 2016-12-20 14:47:48 · 536 阅读 · 0 评论 -
机器学习系列之———主成分分析
3.2 最小平方误差理论 假设有这样的二维样本点(红色点),回顾我们前面探讨的是求一条直线,使得样本点投影到直线上的点的方差最大。本质是求直线,那么度量直线求的好不好,不仅仅只有方差最大化的方法。再回想我们最开始学习的线性回归等,目的也是求一个线性函数使得直线能够最佳拟合样本点,那么我们能不能认为最佳的直线就是回归后的直线呢?回归时我们的最小二乘法度量的是样本点到转载 2017-03-12 10:36:57 · 328 阅读 · 0 评论 -
机器学习系列之独立成分分析
1. 问题: 1、上节提到的PCA是一种数据降维的方法,但是只对符合高斯分布的样本点比较有效,那么对于其他分布的样本,有没有主元分解的方法呢? 2、经典的鸡尾酒宴会问题(cocktail party problem)。假设在party中有n个人,他们可以同时说话,我们也在房间中一些角落里共放置了n个声音接收器(Microphone)用来记录声音。宴会过后,我们从n个转载 2017-03-12 10:37:49 · 623 阅读 · 0 评论 -
机器学习系列之——独立成分分析
7. ICA算法扩展描述 上面介绍的内容基本上是讲义上的,与我看的另一篇《Independent Component Analysis:Algorithms and Applications》(Aapo Hyvärinen and Erkki Oja)有点出入。下面总结一下这篇文章里提到的一些内容(有些我也没看明白)。 首先里面提到了一个与“独立”相似的概念转载 2017-03-12 10:39:06 · 563 阅读 · 0 评论 -
MI(mutal information)and Entropy
本文根据以下参考资料进行整理: 1.维基百科:https://zh.wikipedia.org/wiki/%E4%BA%92%E4%BF%A1%E6%81%AF 2.新浪博客:http://blog.sina.com.cn/s/blog_6255d20d0100ex51.html 在概率论和信息论中,两个随机变量的互信息(Mutual Information,转载 2017-04-28 19:30:54 · 1179 阅读 · 0 评论 -
最优参数选取
分类算法的大致流程:利用参数寻优函数进行参数寻优,这里的参数是SVMtrain训练模型的参数,参数找的好,模型训练的就好,可以提高后面预测分类的准确率。不同的SVM类型需要寻优的参数不同。然后利用最优参数去训练模型model,得到模型后就可以利用svmpredict函数进行使用预测了。下面我将学习farutu的笔记整理一下,希望能够帮助到后面学习svm的同学快速入门,因为我也是刚刚看完了f转载 2017-05-11 20:49:57 · 26049 阅读 · 3 评论 -
回归分析资料
《回归模型》PPT和数据集 (2015-09-12 17:33:58)转载▼ 分类: 《回归模型》课件教材:孟生旺,回归模型,中国人民大学出版社,2015. 点击下列链接从百度云盘进行下载:孟生旺《回归模型》PPT:http://pan.baidu.com/s/1miizhHY《回归转载 2017-06-02 19:33:04 · 1704 阅读 · 2 评论 -
教你写一个Naive Bayes classfication
机器学习之用Python从零实现贝叶斯分类器朴素贝叶斯算法简单高效,在处理分类问题上,是应该首先考虑的方法之一。通过本教程,你将学到朴素贝叶斯算法的原理和Python版本的逐步实现。更新:查看后续的关于朴素贝叶斯使用技巧的文章“Better Naive Bayes: 12 Tips To Get The Most From The Naive Bayes Algorithm”朴转载 2017-06-03 15:19:28 · 711 阅读 · 0 评论 -
pandas 学习
pandas 官方cookbook 学习资料见http://pandas.pydata.org/pandas-docs/stable/cookbook.html#cookbook转载 2017-07-20 11:12:49 · 268 阅读 · 0 评论 -
机器学习系列文章之———最大方差分析
主成分分析(Principal components analysis)-最大方差解释 在这一篇之前的内容是《Factor Analysis》,由于非常理论,打算学完整个课程后再写。在写这篇之前,我阅读了PCA、SVD和LDA。这几个模型相近,却都有自己的特点。本篇打算先介绍PCA,至于他们之间的关系,只能是边学边体会了。PCA以前也叫做Principal factor ana转载 2017-03-12 10:35:58 · 1534 阅读 · 0 评论 -
Meanshift聚类算法
记得刚读研究生的时候,学习的第一个算法就是meanshift算法,所以一直记忆犹新,今天和大家分享一下Meanshift算法,如有错误,请在线交流。Mean Shift算法,一般是指一个迭代的步骤,即先算出当前点的偏移均值,移动该点到其偏移均值,然后以此为新的起始点,继续移动,直到满足一定的条件结束. 1. Meanshift推导给定d维空间Rd的n个样本点 ,i=1,…,转载 2017-02-15 15:38:52 · 517 阅读 · 0 评论 -
聚类分析
聚类分析(Cluster Analysis)一、聚类分析与判别分析• 判别分析:已知分类情况,将未知个体归入正确类别• 聚类分析:分类情况未知,对数据结构进行分类 二、Q型和R型 聚类 Q型是对样本进行分类处理,其作用在于:1.能利用多个变量对样本进行分类2.分类结果直观,聚类谱系图能明确、清楚地表达其数值分类结果3.所得结果比传统的定性分类方法更细致、转载 2017-02-14 22:37:49 · 7499 阅读 · 0 评论 -
ZCA白化(协方差矩阵变换成单位矩阵)和数据零均值处理
主成分分析(PCA)是用来提升无监督特征学习速度的数据降维算法。看过下文大致可以知道,PCA本质是对角化协方差矩阵,目的是让维度之间的相关性最小(降噪),保留下来的维度能量最大(去冗余),PCA在图像数据的降维上很实用,因为图像数据相邻元素的相关性是很高的。为了方便解释,我们以二维数据降一维为例(实际应用可能需要把数据从256降到50):需要注意的是,两个特征值经过了预处理转载 2016-12-20 14:19:39 · 6086 阅读 · 1 评论 -
ZCA
CNN数值——ZCA冯超 · 4 个月前前面我们已经讲了很多有关参数合并的事情,反倒忘了介绍有关输入数据的事情,下面就来介绍一下对输入数据的初始化算法。在Caffe的网络描述中,data layer的配置中有一项是用于配置mean_file,也就是数据的平均数值,在计算中每个数据在进入网络计算前会减去mean_file,以确保数据的整体均值为0,这样对于训练数据会更有帮助。转载 2016-12-20 11:27:08 · 2447 阅读 · 0 评论 -
RBF神经网络
本文摘自:《模式识别与智能计算——matlab技术实现第三版》与《matlab神经网络43个案例分析》【注】蓝色字体为自己的理解部分 径向基函数神经网络的优点:逼近能力,分类能力和学习速度等方面都优于BP神经网络,结构简单、训练简洁、学习收敛速度快、能够逼近任意非线性函数,克服局部极小值问题。原因在于其参数初始化具有一定的方法,并非随机初始化。 RBF转载 2016-11-27 16:53:11 · 91055 阅读 · 8 评论 -
GRNN广义回归神经网络
广义回归神经网络 GRNN(General Regression Neural Network)广义回归神经网络是基于径向基函数神经网络的一种改进。结构分析:可以看出,这个结构与之前我们所讲过的径向基神经网络非常相似,区别就在于多了一层加和层,而去掉了隐含层与输出层的权值连接。1.输入层为向量,维度为m,样本个数为n,线性函数为传输函数。2.转载 2016-11-14 19:42:49 · 24986 阅读 · 0 评论 -
七步通过python学习机器学习
有许多python机器学习资源在线免费提供.从哪开始?如何进行?从零到python机器学习大神只要7个步骤.作者Matthew Mayo.发表于KDnuggests.入门.在英语中最打击人的两个单词.第一部往往是最难的,当在这方面有太多选择,通常让人崩溃.从哪开始? 这篇文章旨在用7个不走带领python机器学习知识最少的新人成为知识渊博从业者,使用免费材料转载 2016-11-10 18:47:41 · 491 阅读 · 0 评论 -
LibSVM的使用
LibSVM使用指南本文包含以下几个部分:支持向量机--SVM简介LibSVM的安装LibSVM的使用LibSVM参数调优Java版LibSVM库函数的调用SVM简介在进行下面的内容时我们认为你已经具备了数据挖掘的基础知识。SVM是新近出现的强大的数据挖掘工具,它在文本分类、手写文字识别、图像分类、生物序列分析等实际应用中表现出非常好的性能。SVM属于监督学习算法,转载 2016-10-31 22:11:18 · 3226 阅读 · 0 评论 -
判别模型、生成模型与朴素贝叶斯方法
转载时请注明来源:http://www.cnblogs.com/jerrylead1判别模型与生成模型上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下,求解条件概率。通俗的解释为在给定特征后预测结果出现的概率。比如说要确定一只羊是山羊还是绵羊,用判别模型的方法是先从历史数据中学习到模型,然后通过提取这只羊的特征来预测出这只转载 2016-10-24 22:12:16 · 443 阅读 · 0 评论 -
机器学习与计算机视觉资料汇总
感觉这一学期学了挺多各种各样的机器学习方法,好多不经常用都快忘了。把各种方法我觉得讲得比较好的资料记录下来,永久更新。。。后文提到的主要资料书籍汇总:Ng CS229:斯坦福Andrew Ng 机器学习课程,网易公开课和coursera 上都有视频;UFLDL教程:Andrew Ng 深度学习教程:http://deeplearning.stanford.edu/wiki/转载 2017-01-20 12:31:53 · 516 阅读 · 0 评论 -
CCA典型关联分析
典型关联分析(Canonical Correlation Analysis)[pdf版本] 典型相关分析.pdf1. 问题 在线性回归中,我们使用直线来拟合样本点,寻找n维特征向量X和输出结果(或者叫做label)Y之间的线性关系。其中,。然而当Y也是多维时,或者说Y也有多个特征时,我们希望分析出X和Y的关系。 当然我们仍然可以使用回归的方法来分析,做法转载 2017-09-05 18:36:54 · 1765 阅读 · 1 评论