![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数学
文章平均质量分 94
yansmile1
这个作者很懒,什么都没留下…
展开
-
协方差的意义
协方差的意义转载于:http://bbs.mathchina.com/cgi-bin/topic.cgi?forum=5&topic=14444(感谢原作者) 在概率论中,两个随机变量 X 与 Y 之间相互关系,大致有下列3种情况:当 X, Y 的联合分布像上图那样时,我们可以看出,大致上有: X 越大 Y 也越大, X 越小 Y 也越小转载 2015-09-10 10:53:17 · 294 阅读 · 0 评论 -
神经网络学习笔记 - lecture3:The backpropagation learning proccedure
视频地址: https://class.coursera.org/neuralnets-2012-001/lecture/indexPPT下载: https://d396qusza40orc.cloudfront.net/neuralnets/lecture_slides%2Flec3.pptx笔记:还没整理成电子版,先放上来纸质版。转载 2015-07-24 16:10:59 · 366 阅读 · 0 评论 -
算法杂货铺——分类算法之朴素贝叶斯分类(Naive Bayesian classification)
0、写在前面的话 我个人一直很喜欢算法一类的东西,在我看来算法是人类智慧的精华,其中蕴含着无与伦比的美感。而每次将学过的算法应用到实际中,并解决了实际问题后,那种快感更是我在其它地方体会不到的。 一直想写关于算法的博文,也曾写过零散的两篇,但也许是相比于工程性文章来说太小众,并没有引起大家的兴趣。最近面临毕业找工作,为了能给自己增加筹码,决定再次复习算法方面的知转载 2015-07-23 17:31:34 · 345 阅读 · 0 评论 -
主成分分析(PCA)原理详解
转载请声明出处:http://blog.csdn.net/zhongkelee/article/details/44064401一、PCA简介1. 相关背景 上完陈恩红老师的《机器学习与知识发现》和季海波老师的《矩阵代数》两门课之后,颇有体会。最近在做主成分分析和奇异值分解方面的项目,所以记录一下心得体会。 在许多领域的研究与应用中,往往需要对反转载 2015-07-19 12:51:57 · 7367 阅读 · 2 评论 -
统计学习笔记(1)——统计学习方法概论
1.统计学习 统计学习是关于计算机基于数据构建概率统计模型并运用模型对数据进行预测与分析的一门学科,也称统计机器学习。统计学习是数据驱动的学科。统计学习是一门概率论、统计学、信息论、计算理论、最优化理论及计算机科学等多个领域的交叉学科。 统计学习的对象是数据,它从数据出发,提取数据的特征,抽象出数据的模型,发现数据中的知识,又回到对数据的分析与预转载 2015-11-17 15:47:27 · 433 阅读 · 0 评论 -
一元线性回归模型与最小二乘法及其C++实现
监督学习中,如果预测的变量是离散的,我们称其为分类(如决策树,支持向量机等),如果预测的变量是连续的,我们称其为回归。回归分析中,如果只包括一个自变量和一个因变量,且二者的关系可用一条直线近似表示,这种回归分析称为一元线性回归分析。如果回归分析中包括两个或两个以上的自变量,且因变量和自变量之间是线性关系,则称为多元线性回归分析。对于二维空间线性是一条直线;对于三维空间线性是一个平面,对于多维空间线转载 2015-11-17 16:09:35 · 566 阅读 · 0 评论 -
11 SMO优化算法(Sequential minimal optimization)
SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。我拜读了一下,下转载 2015-11-17 16:53:20 · 521 阅读 · 0 评论 -
c++开源机器学习库及机器学习知识框架(更新中)
1)mlpack is a C++ machine learning library.2)PLearn is a C++ library aimed at research and development in the field of statistical machine learning algorithms. Its originality is to allow to easily转载 2015-11-17 16:17:18 · 727 阅读 · 0 评论 -
SVM算法实现(一)
关键字(keywords):SVM 支持向量机 SMO算法 实现 机器学习 如果对SVM原理不是很懂的,可以先看一下入门的视频,对帮助理解很有用的,然后再深入一点可以看看这几篇入门文章,作者写得挺详细,看完以后SVM的基础就了解得差不多了,再然后买本《支持向量机导论》作者是Nello Cristianini 和 John Shawe-Taylor,电子工业出版社的。转载 2015-11-17 17:01:07 · 1973 阅读 · 0 评论 -
K-均值算法
最近在学习一些数据挖掘的算法,看到了这个算法,也许这个算法对你来说很简单,但对我来说,我是一个初学者,我在网上翻看了很多资料,发现中文社区没有把这个问题讲得很全面很清楚的文章,所以,把我的学习笔记记录下来,分享给大家。在数据挖掘中, k-Means 算法是一种 cluster analysis 的算法,其主要是来计算数据聚集的算法,主要通过不断地取离种子点最近均值的算法。问题转载 2015-11-24 10:08:50 · 893 阅读 · 0 评论 -
《统计学习方法》+感知机+C++代码(简单)实现
感知机的定义: 感知机学习算法的原始形式算法描述: 以例2.1为例,编程实现该算法: C++编程实现,程序代码,在资源里,有兴趣可以下载,代码如下:[cpp] view plaincopy#include #include using names转载 2015-11-18 17:30:32 · 836 阅读 · 0 评论 -
梯度下降法
梯度下降法博客分类: 数学与计算 一、基本概念梯度下降法,就是利用负梯度方向来决定每次迭代的新的搜索方向,使得每次迭代能使待优化的目标函数逐步减小。梯度下降法是2范数下的最速下降法。 最速下降法的一种简单形式是:x(k+1)=x(k)-a*g(k),其中a称为学习速率,可以是较小的常数。g(k)是x(k)的梯度。二、导数(1)定义转载 2015-11-18 10:37:21 · 586 阅读 · 0 评论 -
机器学习入门书单
继NLP之后,我又开了ML这个大坑。这是因为NLP涉及到太多的ML模型,仅仅拿过来用的话,我实现的HanLP已经快到个人极限了。而模型背后的原理、如何优化、如何并行化等问题,都需要寻根求源才能解决。所以我找了个书单自学,电子书为主,顺便分享出来。ML书单│ 李航.统计学习方法.pdf│ 机器学习及其应用.pdf│ All of Statistics - A Concise Cou转载 2015-11-18 15:52:13 · 1618 阅读 · 0 评论 -
统计学习方法 --- 感知机模型原理及c++实现
参考博客 Liam Q博客 和李航的《统计学习方法》感知机学习旨在求出将训练数据集进行线性划分的分类超平面,为此,导入了基于误分类的损失函数,然后利用梯度下降法对损失函数进行极小化,从而求出感知机模型。感知机模型是神经网络和支持向量机的基础。下面分别从感知机学习的模型、策略和算法三个方面来介绍。1. 感知机模型 感知机模型如下:f(x)= sign(w*x+b转载 2015-11-18 16:13:59 · 973 阅读 · 0 评论 -
曲线拟合
12.1 曲线拟合12.1.1 曲线拟合的定义 曲线拟合(Curve Fitting)的数学定义是指用连续曲线近似地刻画或比拟平面上一组离散点所表示的坐标之间的函数关系,是一种用解析表达式逼近离散数据的方法。曲线拟合通俗的说法就是“拉曲线”,也就是将现有数据透过数学方法来代入一条数学方程式的表示方法。科学和工程遇到的很多问题,往往只能通过诸如采样、实验等方法获得若干离转载 2016-08-29 10:26:14 · 44432 阅读 · 2 评论 -
投影曲线的波峰查找(图像分析)
1. 前言在图像分析里,投影曲线是我们经常要用到的一个图像特征,通过投影曲线我们可以看到在某一个方向上,图像灰度变化的规律,这在图像分割,文字提取方面应用比较广。一个投影曲线,它的关键信息就在于波峰与波谷,所以我们面临的第一个问题就是找到波峰与波谷。第一次涉及到求波峰与波谷时,很多人都不以为意,觉得波谷波峰还不容易,无非是一些曲线变化为零的点,从离散的角度来说,也就是:波峰转载 2016-09-09 11:21:06 · 6332 阅读 · 1 评论 -
基于K-Means的文本聚类算法
源代码下载:TDIDF_Demo.rar 声明:本文代码思路完全来自蛙蛙池塘的博客,只为技术交流用途,无其他目的 昨天有幸拜读了蛙蛙池塘的《蛙蛙推荐:蛙蛙教你文本聚类》这篇文章,受益匪浅,于是今天就动手尝试照着他的C#代码,用C++和STL标准库重新实现一遍,因此就有了这篇文章。本文将重新温习蛙蛙池塘那篇文章,并且加入我个人在用C++重写这份代码过程中学到的一些知识转载 2015-07-23 16:30:05 · 2097 阅读 · 0 评论 -
矩阵及其变换、特征值与特征向量的物理意义
最近在做聚类的时候用到了主成分分析PCA技术,里面涉及一些关于矩阵特征值和特征向量的内容,在网上找到一篇对特征向量及其物理意义说明较好的文章,整理下来,分享一下。 一、矩阵基础[1]:矩阵是一个表示二维空间的数组,矩阵可以看做是一个变换。在线性代数中,矩阵可以把一个向量变换到另一个位置,或者说从一个坐标系变换到另一个坐标系。矩阵的“基”,实际就是变换时所用的坐标系。而所谓的转载 2015-07-18 16:12:20 · 1341 阅读 · 0 评论 -
关于协方差矩阵的概念及意义
今天看论文的时候又看到了协方差矩阵这个破东西,以前看模式分类的时候就特困扰,没想到现在还是搞不清楚,索性开始查协方差矩阵的资料,恶补之后决定马上记录下来,嘿嘿~本文我将用自认为循序渐进的方式谈谈协方差矩阵。统计学的基本概念学过概率统计的孩子都知道,统计里最基本的概念就是样本的均值,方差,或者再加个标准差。首先我们给你一个含有n个样本的集合,依次给出这些概念的公式描述,这些高中学过数转载 2015-09-10 11:35:05 · 5276 阅读 · 2 评论 -
PCA(Principal Components Analysis,主成分分析)
PCA(Principal Component Analysis),即主成分分析,主要用于数据降维。对于一组样本的feature组成的多维向量,多维向量里的某些元素本身没有区分性,比如某个元素在所有的样本中都为1,或者与1差距不大,那么这个元素本身就没有区分性,用它做特征来区分,贡献会非常小。所以我们的目的是找那些变化大的元素,即方差大的那些维,而去除掉那些变化不大的维,从而使feature留转载 2015-09-10 15:40:32 · 709 阅读 · 0 评论 -
从贝叶斯方法谈到贝叶斯网络
从贝叶斯方法谈到贝叶斯网络0 引言 事实上,介绍贝叶斯定理、贝叶斯方法、贝叶斯推断的资料、书籍不少,比如《数理统计学简史》,以及《统计决策论及贝叶斯分析 James O.Berger著》等等,然介绍贝叶斯网络的中文资料则非常少,中文书籍总共也没几本,有的多是英文资料,但初学者一上来就扔给他一堆英文论文,因无基础和语言的障碍而读得异常吃力导致无法继续转载 2015-09-10 17:07:06 · 474 阅读 · 0 评论 -
从决策树学习谈到贝叶斯分类算法、EM、HMM
从决策树学习谈到贝叶斯分类算法、EM、HMM引言 最近在面试中,除了基础 & 算法 & 项目之外,经常被问到或被要求介绍和描述下自己所知道的几种分类或聚类算法(当然,这完全不代表你将来的面试中会遇到此类问题,只是因为我的简历上写了句:熟悉常见的聚类 & 分类算法而已),而我向来恨对一个东西只知其皮毛转载 2015-09-10 16:55:25 · 479 阅读 · 0 评论 -
从K近邻算法、距离度量谈到KD树、SIFT+BBF算法
从K近邻算法、距离度量谈到KD树、SIFT+BBF算法前言 前两日,在微博上说:“到今天为止,我至少亏欠了3篇文章待写:1、KD树;2、神经网络;3、编程艺术第28章。你看到,blog内的文章与你于别处所见的任何都不同。于是,等啊等,等一台电脑,只好等待..”。得益于田,借了我一台电脑(借他电脑的时候,我连表示感谢,他说“能找到工作全靠你的博客,这点儿小忙转载 2015-09-10 16:57:26 · 699 阅读 · 0 评论 -
从拉普拉斯矩阵说到谱聚类
从拉普拉斯矩阵说到谱聚类0 引言 11月1日上午,机器学习班第7次课,邹博讲聚类(PPT),其中的谱聚类引起了自己的兴趣,他从最基本的概念:单位向量、两个向量的正交、方阵的特征值和特征向量,讲到相似度图、拉普拉斯矩阵,最后讲谱聚类的目标函数和其算法流程。 课后自己又琢磨了番谱聚类跟拉普拉斯矩阵,打算写篇博客记录学习心得, 若有不足或建转载 2015-09-10 17:09:59 · 11529 阅读 · 1 评论 -
Adaboost 算法的原理与推导
Adaboost 算法的原理与推导0 引言 一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单:听取多人意见,最后综合决策,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,邹博在我组织的机器学习班第8次课上讲决策树与Adaboost,其中,Adaboost讲得酣畅淋漓,讲完后,我知道,可以写本篇博客了。转载 2015-09-10 17:11:56 · 3849 阅读 · 2 评论 -
最大熵模型中的数学推导
最大熵模型中的数学推导0 引言 写完SVM之后,一直想继续写机器学习的系列,无奈一直时间不稳定且对各个模型算法的理解尚不够,所以导致迟迟未动笔。无独有偶,重写KMP得益于今年4月个人组织的算法班,而动笔继续写这个机器学习系列,正得益于今年10月组织的机器学习班。 10月26日机器学习班第6次课,身为讲师之一的邹博讲最大熵模型,他从熵的转载 2015-09-10 17:15:53 · 453 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
支持向量机通俗导论(理解SVM的三层境界)作者:July ;致谢:pluskid、白石、JerryLead。出处:结构之法算法之道blog。前言 动笔写这个支持向量机(support vector machine)是费了不少劲和困难的,原因很简单,一者这个东西本身就并不好懂,要深入学习和研究下去需花费不少时间和精力,二者这个东西也不好讲转载 2015-09-10 16:50:39 · 445 阅读 · 0 评论 -
拉格朗日乘子法和KKT条件
在求取有约束条件的优化问题时,拉格朗日乘子法(Lagrange Multiplier) 和KKT条件是非常重要的两个求取方法,对于等式约束的优化问题,可以应用拉格朗日乘子法去求取最优值;如果含有不等式约束,可以应用KKT条件去求取。当然,这两个方法求得的结果只是必要条件,只有当是凸函数的情况下,才能保证是充分必要条件。KKT条件是拉格朗日乘子法的泛化。之前学习的时候,只知道直接应用两个方法,但是却转载 2015-09-27 20:13:38 · 1196 阅读 · 0 评论 -
基于朴素贝叶斯分类器的文本分类算法(下)
主要看代码吧。源代码下载:NaviveBayesClassify.rar Preface文本的分类和聚类是一个比较有意思的话题,我以前也写过一篇blog《基于K-Means的文本聚类算法》,加上最近读了几本数据挖掘和机器学习的书籍,因此很想写点东西来记录下学习的所得。在本文的上半部分《基于朴素贝叶斯分类器的文本分类算法(上)》一文中简单介绍了贝叶斯学习的基本理论,这一篇将展转载 2015-07-23 17:30:46 · 498 阅读 · 0 评论 -
SVM算法入门
课程文本分类project SVM算法入门转自:http://www.blogjava.net/zhenandaci/category/31868.html(一)SVM的简介支持向量机(Support Vector Machine)是Cortes和Vapnik于1995年首先提出的,它在解决小样本、非线性及高维模式识别中表现出许多特有的优势,并能够推广应用到函数拟合等其他机转载 2015-07-08 10:47:04 · 410 阅读 · 0 评论 -
OpenCV Machine Learning 之正态贝叶斯分类器(Normal Bayes Classifier)的用法实例
本编博客通过以学生成绩为特征对学生进行分类,判断他是文科生还是理科生向大家分享OpenCV 贝叶斯分类器的用法。该类的详细解释请看博文:http://blog.csdn.net/zhjm07054115/article/details/27631913分类器的用法大致分三步:第一步: 构造已知标签的训练样本数据集第二步: 训练分类转载 2015-07-25 15:34:11 · 1984 阅读 · 0 评论 -
*很不错*朴素贝叶斯分类器的应用
作者: 阮一峰日期: 2013年12月16日生活中很多场合需要用到分类,比如新闻分类、病人分类等等。本文介绍朴素贝叶斯分类器(Naive Bayes classifier),它是一种简单有效的常用分类算法。一、病人分类的例子让我从一个例子开始讲起,你会看到贝叶斯分类器很好懂,一点都不难。某个医院早上收了六个门诊病人,如下表。转载 2015-07-23 16:59:27 · 716 阅读 · 0 评论 -
(波峰波谷)C++实现MATLAB一维数组函数findpeaks()函数求一维离散值极值
一、代码[cpp] view plain copy print?#include #include using namespace std; // //C++实现求一维离散数据极值(波峰、波谷) // //参数:数组,数组大小 void findPeaks(int *num,int cou转载 2016-09-09 12:08:59 · 14145 阅读 · 3 评论