![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
文章平均质量分 78
liqiuguo
人生是一种赌博,该赌博的时候到了
展开
-
神经网络用于手写数字识别更新版
一:人工神经网络 人类之所以能够思考,学习,判断,大部分都要归功于人脑中复杂的神经网络。虽然现在人脑的机理还没有完全破译,但是人脑中神经元之间的连接,信息的传递都已为人所知晓。于是人们就想能否模拟人脑的功能用于解决其他问题,这就发展出人工神经网络。 人工神经网络(artificial neural network,缩写ANN),是一种模仿生物神经网络的结构和功能的转载 2016-03-15 14:16:44 · 525 阅读 · 1 评论 -
SVM中的SMO算法
SMO算法由Microsoft Research的John C. Platt在1998年提出,并成为最快的二次规划优化算法,特别针对线性SVM和数据稀疏时性能更优。关于SMO最好的资料就是他本人写的《Sequential Minimal Optimization A Fast Algorithm for Training Support Vector Machines》了。我拜读了一下,下转载 2016-03-12 14:02:15 · 209 阅读 · 0 评论 -
SVM实现多分类的程序基础工作(三)——基于纠错编码的SVM多类分类算法和基于二叉树的多类SVM算法的基本思想
SVM(支持向量机)最初是针对二分类问题而提出来的,但现在我们要实现多分类,那么可不可以运用SVM呢?根据目前的研究,我们有两种解决途径:1、 通过构造多个SVM二值分类器并将让它们组合起来实现多类分类,例如one-against-rest, one-against-one和DA GSVM. 虽然这三种方法是当前最常用且性能较优的, 但one-against-rest 和one-agai转载 2016-03-12 13:57:26 · 289 阅读 · 0 评论 -
Logistic回归
转自别处 有很多与此类似的文章 也不知道谁是原创 因原文由少于错误 所以下文对此有修改并且做了适当的重点标记(横线见的内容没大明白 并且有些复杂,后面的运行流程依据前面的得出的算子进行分类) 初步接触谓LR分类器(Logistic Regression Classifier),并没有什么神秘的。在分类的情形下,经过学习之后的LR分类器其实就是一组权值w0,w1,...,w转载 2016-03-12 12:55:48 · 2870 阅读 · 0 评论 -
支持向量机通俗导论(理解SVM的三层境界)
支持向量机通俗导论(理解SVM的三层境界)作者:July 。致谢:pluskid、白石、JerryLead。说明:本文最初写于2012年6月,而后不断反反复复修改&优化,修改次数达上百次,最后修改于2016年1月。前言 动笔写这个支持向量机(support vector machine)是费了不少劲和转载 2016-03-11 23:30:22 · 250 阅读 · 0 评论 -
Adaboost 算法的原理与推导
Adaboost 算法的原理与推导0 引言 一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单:听取多人意见,最后综合决策,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,邹博在我组织的机器学习班 第8次课上讲决策树与Adaboost,其中,Adaboost讲得酣畅淋漓,讲完后,我知道,可以写本篇博客了。 无心啰嗦,本文转载 2016-03-11 23:32:41 · 222 阅读 · 0 评论 -
神经网络学习
什么是神经网络?神经网络是由很多神经元组成的,首先我们看一下,什么是神经元上面这个图表示的就是一个神经元,我们不管其它书上说的那些什么树突,轴突的。我用个比较粗浅的解释,可能不太全面科学,但对初学者很容易理解: 1、我们把输入信号看成你在matlab中需要输入的数据,输进去神经网络后2、这些数据的每一个都会被乘个数,即权值w,然后这些东东与阀值b相加后求和得到u,3、上面只转载 2016-03-11 23:21:37 · 594 阅读 · 0 评论 -
SVM算法实现(一)
关键字(keywords):SVM 支持向量机 SMO算法 实现 机器学习 如果对SVM原理不是很懂的,可以先看一下入门的视频,对帮助理解很有用的,然后再深入一点可以看看这几篇入门文章,作者写得挺详细,看完以后SVM的基础就了解得差不多了,再然后买本《支持向量机导论》作者是Nello Cristianini 和 John Shawe-Taylor,电子工业出版社的。转载 2016-03-11 23:16:57 · 345 阅读 · 0 评论 -
支持向量机——SVM算法及例子(代码)
终于拖到最后一天交机器学习作业,选择了SVM算法,之前一直听说过,现在终于有了初步的了解,顺便post到这里分享一下,不足地方请大家指出本文内容有来自《统计学习算法》(李航 著)第7章——支持向量机同时也看了Stanford机器学习公开课概要支持向量机属于监督学习,是一种二类分类模型,它的基本模型是定义在特征空间上的间隔最大的线性分类器,支持向量机包转载 2016-03-11 23:06:44 · 2119 阅读 · 0 评论 -
归纳决策树ID3(Java实现)
先上问题吧,我们统计了14天的气象数据(指标包括outlook,temperature,humidity,windy),并已知这些天气是否打球(play)。如果给出新一天的气象指标数据:sunny,cool,high,TRUE,判断一下会不会去打球。table 1outlooktemperaturehumiditywindyplay转载 2016-03-12 22:18:29 · 213 阅读 · 0 评论 -
BP神经网络学习和c++例子程序代码
转自:http://blog.csdn.net/luxiaoxun/article/details/7649945BP(Back Propagation)网络是1986年由Rumelhart和McCelland为首的科学家小组提出,是一种按误差逆传播算法训练的多层前馈网络,是目前应用最广泛的神经网络模型之一。BP网络能学习和存贮大量的输入输出模式映射关系,而无需事前揭示描述这种映射关系的数学方转载 2016-03-13 00:11:20 · 270 阅读 · 0 评论 -
BP神经网络应用于手写数字识别--matlab程序
数据集和完整的程序下载见更新版:神经网络用于字符识别更新版二:BP神经网络应用于字符识别 字符包括汉字,字母,数字和一些符号。汉字有几千个,字母有几十个,数字的类最少只有10个,所以选择简单的手写数字字符来实现。结合三个相关的程序和论文,一个是语音特征的分类(不调用神经网络工具箱相关函数实现),另外两个是关于手写数字识别的。处理的数据集是放在10个文件夹里,文件夹的名称对应存放的转载 2016-03-15 13:55:43 · 1826 阅读 · 0 评论 -
归纳决策树ID3(Java实现)
先上问题吧,我们统计了14天的气象数据(指标包括outlook,temperature,humidity,windy),并已知这些天气是否打球(play)。如果给出新一天的气象指标数据:sunny,cool,high,TRUE,判断一下会不会去打球。table 1outlooktemperaturehumiditywindyplay转载 2016-02-29 21:10:31 · 121 阅读 · 0 评论 -
主成分分析(PCA)原理及推导
出处http://blog.csdn.net/zhongkejingwang/article/details/42264479 什么是PCA? 在数据挖掘或者图像处理等领域经常会用到主成分分析,这样做的好处是使要分析的数据的维度降低了,但是数据的主要信息还能保留下来,并且,这些变换后的维两两不相关!至于为什么?那就接着往下看。在本文中,将会很详细的解答这些问题:PCA、SVD、特转载 2016-03-13 20:21:24 · 549 阅读 · 0 评论 -
奇异值分解(SVD)原理详解及推导
出处http://blog.csdn.net/zhongkejingwang/article/details/43053513 在网上看到有很多文章介绍SVD的,讲的也都不错,但是感觉还是有需要补充的,特别是关于矩阵和映射之间的对应关系。前段时间看了国外的一篇文章,叫A Singularly Valuable Decomposition The SVD of a Matrix,觉得分转载 2016-03-13 20:20:38 · 317 阅读 · 0 评论 -
SVD在推荐系统中的应用详解以及算法推导
出处http://blog.csdn.net/zhongkejingwang/article/details/43083603 前面文章SVD原理及推导已经把SVD的过程讲的很清楚了,本文介绍如何将SVD应用于推荐系统中的评分预测问题。其实也就是复现Koren在NetFlix大赛中的使用到的SVD算法以及其扩展出的RSVD、SVD++。 记得刚接触SVD是在大二,那会儿跟转载 2016-03-13 20:19:30 · 441 阅读 · 0 评论 -
字符识别OCR研究一(模板匹配&BP神经网络训练)
在MATLAB环境下利用USB摄像头采集字符图像,读取一帧保存为图像,然后对读取保存的字符图像,灰度化,二值化,在此基础上做倾斜矫正,对矫正的图像进行滤波平滑处理,然后对字符区域进行提取分割出单个字符,识别方法一是采用模板匹配的方法逐个对字符与预先制作好的字符模板比较,如果结果小于某一阈值则结果就是模板上的字符;二是采用BP神经网络训练,通过训练好的net对待识别字符进行识别。最然后将识别结果通过转载 2016-03-13 13:59:00 · 1211 阅读 · 0 评论 -
BP神经网络的数学原理及其算法实现
出处http://blog.csdn.net/zhongkejingwang/article/details/44514073 上一篇文章介绍了KNN分类器,当时说了其分类效果不是很出色但是比较稳定,本文后面将利用BP网络同样对Iris数据进行分类。什么是BP网络BP神经网络,BP即Back Propagation的缩写,也就是反向传播的意思,顾名思义,将什么反向传播?文中转载 2016-03-13 13:57:03 · 235 阅读 · 0 评论 -
神经网络学习之一资源汇总
机器学习算法汇总:人工神经网络、深度学习及其它的URL:http://www.csdn.net/article/2014-06-27/2820429如何让神经网络把熊猫识别为秃鹫的URL:http://www.csdn.net/article/2015-12-28/2826566神经网络和深度学习(1):前言的URL:http://blog.jobbole.com/转载 2016-03-13 00:12:13 · 157 阅读 · 0 评论 -
AdaBoost中利用Haar特征进行人脸识别算法分析与总结2——级联分类器与检测过程
出处 http://blog.csdn.net/watkinsong/article/details/76319491. 弱分类器在确定了训练子窗口中的矩形特征数量和特征值后,需要对每一个特征f ,训练一个弱分类器h(x,f,p,O) 。在CSDN里编辑公式太困难了,所以这里和公式有关的都用截图了。特别说明:在前期转载 2016-03-08 22:34:38 · 374 阅读 · 0 评论 -
AdaBoost中利用Haar特征进行人脸识别算法分析与总结1——Haar特征与积分图
出处 http://blog.csdn.net/watkinsong/article/details/7631949目前因为做人脸识别的一个小项目,用到了AdaBoost的人脸识别算法,因为在网上找到的所有的AdaBoost的简介都不是很清楚,让我看看头脑发昏,所以在这里打算花费比较长的时间做一个关于AdaBoost算法的详细总结。希望能对以后用AdaBoost的同学有所帮助。而且给出了关转载 2016-03-08 22:33:08 · 367 阅读 · 0 评论 -
AdaBoost算法和java实现
算法描述输入:训练数据集,其中xi∈χ⊆Rn,yi∈{-1,+1};弱学习算法; 输出:最终分类器G(x)。初始化训练集数据的权值分布 D1=(w11,…,wiN), w1i=1/N, i=1,2…,N 对m=1,2,…,M(a)使用具有权值分布Dm的训练数据集学习,得到基本分类器 Gm(x):χ−−>{-1,+1} (b) 计算Gm(x转载 2016-03-07 14:40:58 · 474 阅读 · 0 评论 -
深度学习与计算机视觉系列(10)_细说卷积神经网络
转载自:深度学习与计算机视觉系列(10)_细说卷积神经网络 - 龙心尘 - 博客频道 - CSDN.NEThttp://blog.csdn.net/longxinchen_ml/article/details/50545340作者:寒小阳 && 龙心尘 时间:2016年1月。 出处: http://blog.csdn.net/han_xiaoyang转载 2016-03-18 20:29:45 · 252 阅读 · 0 评论 -
聚类算法之BIRCH(Java实现)
BIRCH(Balanced Iterative Reducing and Clustering using Hierarchies)天生就是为处理超大规模(至少要让你的内存容不下)的数据集而设计的,它可以在任何给定的内存下运行。关于BIRCH的更多特点先不介绍,我先讲一下算法的完整实现细节,对算法的实现过程搞清楚后再去看别人对该算法的评价才会感受深刻。你不需要具备B树的相关知识,我接下来会讲转载 2016-03-07 13:55:18 · 270 阅读 · 0 评论 -
JAVA实现遗传算法
注明出处:http://blog.csdn.net/xiaojimanman/article/details/50277547http://www.llwjy.com/blogdetail/8d8f9fa295e57c774c2b8223166aee1b.html关于遗传算法的详细原理以及具体的定义这里就不多介绍,想了解的可以自行百度,下面就简单介绍下自己对遗传算法的理解,转载 2016-03-07 13:51:10 · 306 阅读 · 0 评论 -
DBSCAN算法的Java实现
DBSCAN是一种基于密度的聚类算法,它的基本原理就是给定两个参数,ξ和minp,其中 ξ可以理解为半径,算法将在这个半径内查找样本,minp是一个以ξ为半径查找到的样本个数n的限制条件,只要n>=minp,查找到的样本点就是核心样本点,算法的具体描述见参考文件1,下边是这个算法的java实现: 首先定义一个Point类,代表样本点 [java] view p转载 2016-03-07 13:44:44 · 703 阅读 · 0 评论 -
聚类算法
基于遗传算法的数据挖掘技术 http://wenku.baidu.com/view/47b1960d6c85ec3a87c2c585.html?re=view聚类分析是通过无监督训练将样本按相似性分析,把相似性大的样本归为一类,并占据特征空间的一个局部区域,每个局部区域的聚合中心又起着相应类型的代表的作用[1]。常规的聚类分析方法应用与大型数据库的数据分析中,不仅工作量巨大,而且不能保证聚类转载 2016-03-07 13:42:38 · 534 阅读 · 0 评论 -
分类算法
目前看到的比较全面的分类算法,总结的还不错. 2.4.1 主要分类方法介绍解决分类问题的方法很多[40-42] ,单一的分类方法主要包括:决策树、贝叶斯、人工神经网络、K-近邻、支持向量机和基于关联规则的分类等;另外还有用于组合单一分类方法的集成学习算法,如Bagging和Boosting等。 (1)决策树 决策树是用于分类和预测的主要技术之一,决策树学习是以实例为基础的归纳学习算法,转载 2016-03-07 13:41:44 · 332 阅读 · 0 评论 -
算法的链接
http://blog.csdn.net/yangliuy基本算法,数据挖掘,机器学习原创 2016-03-04 22:07:55 · 152 阅读 · 0 评论 -
FpTree
fpGrowth输入:?123456789牛奶,鸡蛋,面包,薯片鸡蛋,爆米花,薯片,啤酒鸡蛋,面包,薯片牛奶,鸡蛋,面包,爆米花,薯片,啤酒牛奶,面包,啤酒鸡蛋,面包,啤酒牛奶,面包,薯片牛奶,鸡蛋,面包转载 2016-03-04 19:46:55 · 205 阅读 · 0 评论 -
深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统
转载自:深度学习与计算机视觉(11)_基于deep learning的快速图像检索系统 - 寒小阳 - 博客频道 - CSDN.NEThttp://blog.csdn.net/han_xiaoyang/article/details/508565831.引言本系统是基于CVPR2015的论文《Deep Learning of Binary Hash转载 2016-03-18 20:32:46 · 255 阅读 · 0 评论 -
深度学习与计算机视觉系列(9)_串一串神经网络之动手实现小例子
作者:寒小阳&&龙心尘 时间:2016年1月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/50521072 http://blog.csdn.net/longxinchen_ml/article/details/50521933 声明:版权所有,转载请联系作者并注明出处1.引言前面8小节,算从神经转载 2016-03-18 20:33:54 · 175 阅读 · 0 评论 -
深度学习与计算机视觉系列(1)_基础介绍
转载自:深度学习与计算机视觉系列(1)_基础介绍 - 龙心尘 - 博客频道 - CSDN.NEThttp://blog.csdn.net/longxinchen_ml/article/details/49963327作者: 寒小阳 &&龙心尘 时间:2015年11月。 出处: http://blog.csdn.net/han_xiaoyang/artic转载 2016-03-18 20:44:23 · 169 阅读 · 0 评论 -
深度学习与计算机视觉系列(2)_图像分类与KNN
作者: 寒小阳 &&龙心尘 时间:2015年11月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/49949535 http://blog.csdn.net/longxinchen_ml/article/details/49963349 声明:版权所有,转载请注明出处,谢谢。1.图像分类问题这是转载 2016-03-18 20:43:13 · 288 阅读 · 0 评论 -
深度学习与计算机视觉系列(3)_线性SVM与SoftMax分类器
作者: 寒小阳 &&龙心尘 时间:2015年11月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/49949535 http://blog.csdn.net/longxinchen_ml/article/details/50001979 声明:版权所有,转载请注明出处,谢谢。1. 线性分类器在深度学转载 2016-03-18 20:42:30 · 297 阅读 · 0 评论 -
深度学习与计算机视觉系列(4)_最优化与随机梯度下降
作者:寒小阳 && 龙心尘 时间:2015年12月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/50178505 http://blog.csdn.net/longxinchen_ml/article/details/50178845 声明:版权所有,转载请联系作者并注明出处1. 引言上一节深度学转载 2016-03-18 20:41:01 · 253 阅读 · 0 评论 -
深度学习与计算机视觉系列(5)_反向传播与它的直观理解
作者:寒小阳 && 龙心尘 时间:2015年12月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/50321873 http://blog.csdn.net/longxinchen_ml/article/details/50323183 声明:版权所有,转载请联系作者并注明出处1. 引言其实一开始要讲这部分转载 2016-03-18 20:39:49 · 145 阅读 · 0 评论 -
深度学习与计算机视觉系列(6)_神经网络结构与神经元激励函数
作者:寒小阳 && 龙心尘 时间:2016年1月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/50447834 http://blog.csdn.net/longxinchen_ml/article/details/50448267 声明:版权所有,转载请联系作者并注明出处1.神经元与含义大家都知转载 2016-03-18 20:38:47 · 271 阅读 · 0 评论 -
深度学习与计算机视觉系列(7)_神经网络数据预处理,正则化与损失函数
作者:寒小阳 && 龙心尘 时间:2016年1月。 出处: http://blog.csdn.net/han_xiaoyang/article/details/50451460 http://blog.csdn.net/longxinchen_ml/article/details/50451493 声明:版权所有,转载请联系作者并注明出处1. 引言上一节我们讲完转载 2016-03-18 20:37:30 · 337 阅读 · 0 评论 -
深度学习与计算机视觉系列(8)_神经网络训练与注意点
转载自:深度学习与计算机视觉系列(8)_神经网络训练与注意点 - 龙心尘 - 博客频道 - CSDN.NEThttp://blog.csdn.net/longxinchen_ml/article/details/50521926作者:寒小阳&&龙心尘 时间:2016年1月。 出处: http://blog.csdn.net/han_xiaoyang/articl转载 2016-03-18 20:36:10 · 333 阅读 · 0 评论