- 博客(120)
- 资源 (11)
- 收藏
- 关注
RSS订阅原创 深度学习系列（八）：自编码网络多层特征学习
上节我们谈到了三层自编码网络的特征学习，并将其学习到的特征用于实际分类实验中，并与传统的PCA特征提取方法作了实验对比，发现在三层网络下自编码学习的特征能更好用于分类，达到分类准确率更高，本节我们将再一次探索自编码网络的特征学习问题，并且是深层网络的自编码学习。首先来探索四层网络的自编码问题，还是以手写体为例，网络抽象成下面这样子： 假设我们第一层隐含层用200个神经元，第二层K个（可以固定也可
2015-12-24 22:44:00
9734
13
原创 深度学习系列（七）：自编码网络与PCA特征学习的分类对比实验
上节我们看到自编码网络额隐含层可以用于原始数据的降维（其实也可以升维，不过把隐含层的单元设置的比输入维度还要多），换而言之就是特征学习，那么学习到的这些特征就可以用于分类了，本节主要试验下这些特征用于分类的效果。先以最简单的三层自编码网络为例，先训练自编码网络，在得到编码权值矩阵后，在后接SVM分类器，抽象出来就是如下两个步骤： 这里我们不断调整隐含层单元个数K，并观察最终的分类准确率。Ok第
2015-12-24 16:05:15
13443
11
原创 深度学习系列(六)：自编码网络的特征学习
在第三节我们已经介绍了 简单网络的自编码学习 知道了自编码学习其实就是学习到了输入数据的隐含特征，通过新的特征来表征原始数据，本节将介绍如何使用这些隐含特征进行模式分类； 还是以前面的三层自编码网络： 抽象一下如下： 其中学习到的权值系数W1与W1’是不一样的，我们把W1叫做编码权值，W1’叫做译码权值，原始数据在编码权值下的新数据Y就可以视为学习到了新维度下的数据，这在第三节也说
2015-12-23 23:48:23
15642
原创 深度学习系列（五）：一个简单深度学习工具箱
本节主要介绍一个深度学习的matlab版工具箱，DeepLearnToolbox该工具箱中的代码很简单，感觉比较适合用来学习算法。里面有常见的网络结构，包括深度网络(NN),稀疏自编码网络(SAE),CAE,深度信念网络(DBN)(基于玻尔兹曼RBM实现)，卷积神经网络(CNN)等等。感谢该toolbox的作者。发现这个工具箱是在CSDN上另外一位博主的博客下发现的，该博主也很详细的介绍了该工具箱里
2015-12-23 21:57:18
19372
3
原创 深度学习系列（四）：什么是稀疏编码
上节使用简单方法阐述了自编码问题与简单操作，本节将正式开始探索深度学习的相关问题，第一个问题就是稀疏编码。关于稀疏编码需要理解的几点： （1）什么是稀疏编码？ （2）为什么要稀疏编码? （3）稀疏编码的实现途径。首先什么是稀疏编码？在这之前先看看稀疏表示。 从一个简单的例子说起，相信大多数人学过线性代数或者矩阵论之类的课程吧，再线性代数中，最初始的时候就会学到关于如何判断一大堆向量线性的相关
2015-12-23 21:48:21
29160
8
原创 深度学习系列（三）：简单网络的自编码学习
本节将研究深度学习网络权值设计的重要思想之一：自编码思想，在正式介绍之前先以一个简单的介绍一篇，一层隐含层网络的自编码学习问题。什么是自编码？所谓自编码就是自己给自己编码，再简单点就是令输出等于输入自己。以一个简单三层网络为例如下： 这里我们假设输出等于输入来训练这个网络参数（可能训练好的网络参数不可能让输出百分百等于输入，至少会非常接近吧）。那么这个网络在输入确定了以后（这时输出也就确定了吧
2015-11-29 12:03:48
16119
4
原创 深度学习系列（二）：从神经网络到深度学习
所谓神经网络自然是模拟人脑的神经元构造，许多神经元结合起来的一个网络，人脑的一个神经元可能是这个样子： 抽象出来一个神经元就是三个东西，前中后： 前：谁给这个神经元信号（人脑每个神经元可是与10万个其他神经元相连接）； 中：这个神经元信号往哪里传； 后：传出的信号大小是多少； 基于此人们构造了人工神经元，可能是这个样子： 每个神经元有好些个输入，然后把信息综合一下有一个输出（这是
2015-11-29 11:37:54
6883
原创 深度学习系列-前言:深度学习的好教程
写在之前： 忙忙碌碌，总是在走走停停，挤挤时间，留一个思考的机会。 断断续续，研究深度学习也有段时间，从开始的小白到现在算是入门了，中途看过些许文章文献资料，也有许多的问题。高山之行才刚刚开始，本系列旨在记录下走过的路与个人的学习感悟。该篇小记一下学习到的一些好教程与资料。 关于深度学习，介绍性的文章与博客非常多，写的也非常好。一个综述点的博客系列就是Zouxy大神的文章：Dee
2015-11-29 11:28:46
10546
2
原创 小记
梦中的九月，微风拂过，又闻那阵阵桂花香！ 其一 昨夜北风吹又紧， 梦里花开落几春。 戎马一生山北望， 戒字横前是无言。 11.1 其二
2015-11-01 19:41:14
1558
2
原创 Matlab转c与c++代码
作为一个强大的科学计算软件，matlab广泛运用于较多领域，以其简单的编程风格，便利的调试环境等等众多优点，在编写算法与测试的时候通常用到。然而很多的实际运用上matlab毕竟还不是很普及，相反还是c与c++更多。同时正版matlab这样一个昂贵的软件大家都懂得。有的时候我们在使用到国外许多人开发的matlab版的算法工具箱的时候想把它变成c与c++版本的很困难，那么所以如何将matlab程序编程c
2015-10-17 15:36:38
79883
9
原创 目标检测光流法（四）：matlab下光流法工具箱
该节主要介绍下matlab下的光流法以及一个研究物体检测方面的一个较好的工具箱 ：Piotr’s Computer Vision Matlab Toolbox http://vision.ucsd.edu/~pdollar/toolbox/doc/index.html工具箱下载完以后，配合这个工具箱使用的还需要一个辅助工具箱： Matlab evaluation/labeling code v
2015-10-08 20:43:18
34526
36
原创 目标检测光流法（三）：opencv下光流Farneback法
上节说到过的calcOpticalFlowPyrLK光流算法，可以看到它实际上是一种稀疏特征点的光流算法，也就是说我们先找到那些（特征）点需要进行处理，然后再处理，该节介绍下一个全局性的密集光流算法，也就是对每一个点都进行光流计算，函数为calcOpticalFlowFarneback。首先介绍参数，详细的介绍 参见opencv手册参数一大推，得看一会。有些参数可能带来的影响不是很大，那么使用它
2015-10-08 10:41:19
13046
原创 目标检测光流法（二）：opencv下的光流L-K算法
后续将简单介绍光流法的一些简单实现包，包括opencv下的光流算法与matlab下的光流算法。该节主要介绍opencv下的光流实现。Opencv的光流实现由好几个方法可以（也就是说有好几个函数可以用），每个函数当然也对应着不同的原理，那么它的效果以及算法的速度等等就会有一些差别。主要包括以下几种： calcOpticalFlowPyrLK calcOpticalFlowFarneback ca
2015-10-07 21:24:12
24579
5
原创 目标检测光流法(一)：对光流法的认识
所谓光流，是计算机视觉研究领域的术语，直观的认识就是提供一个对运动物体的的描述，因此也常用于运动物体的检测与识别。现实生活中，我们之所以能感受到物体的动与不动，就是因为这个物体在前后两个时间点上出现在了不同的位置，我们人脑自动根据这个偏差就可以知道物体是运动了还是没有运动，是变远了还是变近了等等。那么基于这种思想下的运动目标检测，就诞生了光流。所以可以看出，光流不但可以检测出物体是否存在运动，运动的
2015-10-07 21:14:15
10506
转载 三大计算机视觉和机器学习库的算法汇总
主要包括有OpenCV、Weka和Matlab，另外其中包含LibSVM、Vlfeat和DeepLearnToolbox等。1.OpenCV主页：http://opencv.org/ 下载地址：http://opencv.org/downloads.html 编程环境：VS 版本：3.0.0 教程：doc\opencv_tutorials.pdf API接口：doc\opencv2refm
2015-09-15 11:26:18
6424
原创 vs2010+opencv3.0.0 环境配置 （以及配置技巧）
(1)目前最新的opencv库为opencv 3.0.0 库，其下载地址为：http://opencv.org/downloads.html Vs最新的可能达到了vs2015，考虑软件太大，且opencv中并没有对应vs2015版本的opencv，所以选择老一点版本的vs2010（2）下载完的opencv为exe文件，解压一下会出现两个文件夹如下： （3）下面是配置电脑的属性，打开：计算机 >
2015-09-07 21:09:45
28380
9
原创 监督算法大比拼之BP、SVM、adaboost非线性多分类实验
写在之前：前些文章曾经细数过从决策树、贝叶斯算法等一些简单的算法到神经网络(BP)、支持向量机（SVM）、adaboost等一些较为复杂的机器学习算法（对其中感兴趣的朋友可以往前的博客看看），各种算法各有优缺点，基本上都能处理线性与非线性样本集，然通观这些算法来看，个人感觉对于数据（无论线性还是非线性）的分类上来说，里面比较好的当数BP、SVM、adaboost元算法这三种了，由于前面在介绍相应算法
2015-08-26 17:20:24
25054
53
原创 机器学习之白话与实战adaboost元算法
作为(曾)被认为两大最好的监督分类算法之一的adaboost元算法(另一个为前几节介绍过的SVM算法)，该算法以其简单的思想解决复杂的分类问题，可谓是一种简单而强大的算法，本节主要简单介绍adaboost元算法，并以实例看看其效果如何。该算法简单在于adaboost算法不需要什么高深的思想，它的基础就是一个个弱小的元结构（弱分类器），比如就是给一个阈值，大于阈值的一类，小于阈值的一类，这样的最简单的
2015-08-21 18:18:44
8573
12
原创 解密SVM系列（五）：matlab下libsvm的简单使用：分类与回归
本节简单介绍一下libsvm的使用方法。关于libsvm似乎曾经使用过，那个时候主要用libsvm进行简单的人脸识别实验。当时还翻译过关于libsvm里面的matlab英文文档介绍与分类实验那么现在最新版本的libsvm为3.2.0，下载地址如下： http://www.csie.ntu.edu.tw/~cjlin/libsvm/下载下来的libsvm其实包含好多个平台的工具箱软件，c++，mat
2015-08-17 22:33:28
67864
22
原创 解密SVM系列（四）：SVM非线性分类原理实验
前面几节我们讨论了SVM原理、求解线性分类下SVM的SMO方法。本节将分析SVM处理非线性分类的相关问题。一般的非线性分类如下左所示（后面我们将实战下面这种情况）： 可以看到在原始空间中你想用一个直线分类面划分开来是不可能了，除非圆。而当你把数据点映射一下成右图所示的情况后，现在数据点明显看上去是线性可分的，那么在这个空间上的数据点我们再用前面的SVM算法去处理，就可以得到每个数据点的分类情况
2015-08-17 20:28:45
19359
11
原创 解密SVM系列（三）：SMO算法原理与实战求解
上节我们讨论到解SVM问题最终演化为求下列带约束条件的问题： minW(α)=12(∑i,j=1Nαiyiαjyjxi∗xj)−∑i=1Nαis.t.0≤αi≤C∑i=1Nαiyi=0min\quad W(\alpha)=\dfrac{1}{2}(\sum_{i,j=1}^{N}\alpha_iy_i\alpha_jy_jx_i*x_j)-\sum_{i=1}^{N}\alpha_i\\s.t.
2015-08-17 19:39:47
31125
60
原创 解密SVM系列（二）：SVM的理论基础
上节我们探讨了关于拉格朗日乘子和KKT条件，这为后面SVM求解奠定基础，本节希望通俗的细说一下原理部分。一个简单的二分类问题如下图： 我们希望找到一个决策面使得两类分开，这个决策面一般表示就是WTX+b=0W^TX+b=0,现在的问题是找到对应的W和b使得分割最好，知道logistic分类 机器学习之logistic回归与分类的可能知道，这里的问题和那里的一样，也是找权值。在那里，我们是根据每
2015-08-17 19:14:40
25253
42
原创 机器学习之实战matlab神经网络工具箱
上节在 《机器学习之从logistic到神经网络算法》 中，我们已经从原理上介绍了神经网络算法的来源与构造，并编程实战了简单神经网络对于线性与非线性数据的分类测试实验。看过上节的可能会发现，上节实现的算法对于非线性数据的分类效果并不是非常完美，有许多值得优化的地方。而matlab作为一个科学计算软件，本身集成了非常多的优化算法，其中的神经网络工具箱就是其中一个优秀的工具箱，本节将以工具箱中的函数
2015-08-11 21:56:27
54035
6
原创 机器学习之从logistic到神经网络算法
在前两节曾经介绍过logistic回归与分类算法，并对线性与非线性数据集分别进行分类实验。Logistic采用的是一层向量权值求和的方式进行映射，所以本质上只能对线性分类问题效果较好（实验也可以看到），其模型如下所示（详细的介绍可看上两次博客：机器学习之logistic分类线性与非线性实验（续））：既然如此，我们可不可以在Y出来之前在多进行几次映射呢？答案是可以的，这就引出了多层网络，每层网络的输出
2015-08-10 17:19:52
7938
1
原创 机器学习之logistic分类线性与非线性实验（续）
本节续上节机器学习之logistic回归与分类对logistic分类的线性与非线性进行实验。上节中的“种子”分类实例中，样本虽然有7维，但是很大很大程度上符合线性可分的，为了在说明上节中的那种logistic对于非线性不可分，进行如下的两组样本进行实验，一组线性，一组非线性，样本如下： 线性样本： 非线性样本： 为了防止完全可分，在1,2类样本的分界面上重叠一部分样本，也就是说这部分样本很
2015-08-09 10:36:36
5163
1
原创 机器学习之logistic回归与分类
logistic回归与分类是一种简单的分类算法。在分类的过程中只需要找到一个划分不同类的权重向量即可，对新的数据只需要乘上这个向量并比较就可以得到分类。比如下图的二分类问题： 每个样本点可以看成包含两个特征（x1,x2）,现在需要把他们分开，如果这是训练集，他们本身属于哪一个类是已知的，比如说蓝色的属于0类，红色的属于1类，现在我们想通过这些数据建立一个分类标准可以将他们分开，这样再来了一个不
2015-08-08 16:52:23
16092
2
原创 实战EM算法与图像分割
EM 算法是求参数极大似然估计的一种方法，它可以从非完整数据集中对参数进行估计，是一种非常简单实用的学习算法。这种方法可以广泛地应用于处理缺损数据、截尾数据以及带有噪声等所谓的不完全数据，可以具体来说，我们可以利用EM算法来填充样本中的缺失数据、发现隐藏变量的值、估计HMM中的参数、估计有限混合分布中的参数以及可以进行无监督聚类等等。贴相关几个好文章：从最大似然到EM算法浅解混合高斯模型（Mixtu
2015-08-06 21:54:05
12346
12
原创 从贝叶斯理论到图像马尔科夫随机场
本节主要介绍马尔科夫的随机场模型以及其用于图像的分割算法中。基于马尔科夫的随机场（MRF）的图像分割是一种基于统计的图像分割算法，其模型参数少，空间约束性强，使用较为广泛。首先了解一下马尔科夫模型，纯粹的马尔科夫模型就是指一件事物的当前状态只与它之前的1个或者n个状态有关，而与再之前的状态没有关系，比如今天天气好坏只与昨天天气有关，而与前天乃至大前天都没有关系。符合这样的一种特性的事物认为其具有马尔
2015-08-06 01:21:36
24865
21
原创 机器学习之实战朴素贝叶斯算法
贝叶斯分类是一类分类算法的总称，这类算法均以贝叶斯定理为基础，故统称为贝叶斯分类，而朴素贝叶斯分类可谓是里面最简单、入门的一种。首先关于贝叶斯定理，感觉简单而伟大，前些天一直在看吴军的数学之美（没看过的极力推荐）系列文章，看到自然语言处理从规则模型到统计模型转变的时候，语言的识别准确率上升好几个等级，以至于今天的语言识别到达很强大的地步，同时对于搜索引擎，网页搜索的准确率，也上升好多。这其中的最最重
2015-08-05 11:46:26
8685
9
原创 蒙特卡罗随机模拟
Monte Carlo方法也叫随机模拟、随机抽样或者统计实验方法。其主要用途用于模拟一些无法用数值产生的随机系统。比如当系统的各个单元的特征量已知，但系统过于复杂导致无法预测其准确数学模型，这个时候可以用随机模拟法计算系统的相关参数。蒙特卡罗的基本思想，为了求解数学、物理、生产管理等方面的问题，首先需要建立一个概率模型或者一个抽样试验来计算所求参数的统计特征，最后通过计算机模拟求出近似解。我们说蒙特
2015-08-04 18:29:28
14408
2
原创 机器学习算法之决策树算法
该节主要是把《机器学习实战》书上第三章关于决策树的相关代码照样子实现了一遍。对其中一些内容作了些补充，对比ID3与C45区别，同时下载了一个大样本集实验决策树的准确率。首先，对于决策树的原理，很多很好的博客值得一看：从决策树学习谈到贝叶斯分类算法、EM、HMM决策树算法总结这两个已经详解了关于决策树的所有，慢慢品读吧。下面是书上外加添加的部分程序，首先是tree.py里面的程序：import ope
2015-07-31 20:47:55
4592
1
原创 聚类之详解FCM算法原理及应用
【之前】 该文的pdf清晰版已被整理上传，方便保存学习，下载地址：https://download.csdn.net/download/on2way/10394655（一）原理部分模糊C均值（Fuzzy C-means）算法简称FCM算法，是一种基于目标函数的模糊聚类算法，主要用于数据的聚类分析。理论成熟，应用广泛，是一种优秀的聚类算法。本文关于FCM算法的一些原理推导部分介绍等参考下...
2015-07-27 17:02:47
134439
58
原创 python下PCA算法与人脸识别
关于这部分主要是想在python下试验一下主成分分析（PCA）算法以及简单的人脸识别。曾经详述过matlab下的PCA以及SVM算法进行人脸识别技术，参考如下：主成分分析法-简单人脸识别（一）主成分分析-简单人脸识别（二）PCA实验人脸库-人脸识别（四）PCA+支持向量机-人脸识别（五）主成分分析（PCA）算法主要是对高维数据进行降维，最大限度的找到数据间的相互关系，在机器学习、数据挖掘上很有用。在
2015-07-25 19:16:16
18497
3
原创 Python下opencv使用笔记（十二）（k均值算法之图像分割）
k均值（kmeans）聚类是一种最为简单的聚类方法，直接根据数据点之间的距离（欧氏距离，几何距离等等）来划分数据是属于哪一类的，当所有数据点所属的类别不在变化的时候，聚类也就完成了。详细原理可索引下面一个博客：聚类分析笔记-K均值matlab算法（一）关于kmeans再谈几点认识：重要的一点：聚类数目的问题。有的聚类、分类问题已经限制好了要聚类成几类，也就是聚类数目一定，那么这种聚类通常简单些，直
2015-07-24 11:46:17
29809
10
原创 Python下opencv使用笔记（十一）（详解hough变换检测直线与圆）
在数字图像中，往往存在着一些特殊形状的几何图形，像检测马路边一条直线，检测人眼的圆形等等，有时我们需要把这些特定图形检测出来，hough变换就是这样一种检测的工具。Hough变换的原理是将特定图形上的点变换到一组参数空间上，根据参数空间点的累计结果找到一个极大值对应的解，那么这个解就对应着要寻找的几何形状的参数（比如说直线，那么就会得到直线的斜率k与常熟b，圆就会得到圆心与半径等等）。关于hough
2015-07-23 21:27:38
72118
9
原创 Python下opencv使用笔记（九）（图像直方图）
（一）图像直方图图像的构成是有像素点构成的，每个像素点的值代表着该点的颜色（灰度图或者彩色图）。所谓直方图就是对图像的中的这些像素点的值进行统计，得到一个统一的整体的灰度概念。直方图的好处就在于可以清晰了解图像的整体灰度分布，这对于后面依据直方图处理图像来说至关重要。一般情况下直方图都是灰度图像，直方图x轴是灰度值（一般0~255），y轴就是图像中每一个灰度级对应的像素点的个数。那么如何获得图像的直
2015-07-14 17:52:09
26841
5
原创 Python下opencv使用笔记（八）（图像金字塔）
图像金字塔操作的将是图像的像素问题（图像变清晰了还是模糊了）（本质上有点像图像的放大与缩小一样(前面介绍过的cv2.resize()函数)）。一般来说我们操作的图像是具有固定分辨率的，但是有些情况下，我们需要对同一图像的不同分辨率的子图像进行处理（尤其是在我们需要提取图像特征的时候）。这个时候我们需要创建一组新的图像，这些图像是具有不同分辨率的原始图像，那么我们把这组图像讲座图像金字塔。我们把最大的
2015-07-13 21:26:40
15366
原创 Python下opencv使用笔记（七）（图像梯度与边缘检测）
梯度简单来说就是求导，在图像上表现出来的就是提取图像的边缘（不管是横向的、纵向的、斜方向的等等），所需要的无非也是一个核模板，模板的不同结果也不同。所以可以看到，所有的这些个算子函数，归结到底都可以用函数cv2.filter2D()来表示，不同的方法给予不同的核模板，然后演化为不同的算子而已。并且这只是这类滤波函数的一个用途，曾经写过一个关于matlab下滤波函数imfilter（）的扩展应用（等同
2015-07-12 16:58:36
18581
3
原创 Python下opencv使用笔记（六）（图像的形态学转换）
形态学一般是使用二值图像，进行边界提取，骨架提取，孔洞填充，角点提取，图像重建等等。常用的形态学操作时腐蚀与膨胀，在他们的基础上演变出一些变体，包括开运算、闭运算、梯度等等。形态学一般是对二值图像进行的操作。下面贴几个比较好的介绍图像形态学方面的博客 图像处理基本算法-形态学 图像的形态学处理（一）腐蚀关于腐蚀就是将图像的边界腐蚀掉，或者说使得图像整体上看起来
2015-07-12 15:59:07
10503
1
原创 Python下opencv使用笔记（五）（图像的平滑与滤波）
对于图形的平滑与滤波，但从滤波角度来讲，一般主要的目的都是为了实现对图像噪声的消除，增强图像的效果。 首先介绍二维卷积运算，图像的滤波可以看成是滤波模板与原始图像对应部分的的卷积运算。关于卷积运算，找到几篇相关的博客：图像处理：基础(模板、卷积运算) 图像处理-模板、卷积的整理对于2D图像可以进行低通或者高通滤波操作，低通滤波（LPF）有利于去噪，模糊图像，高通滤波（HPF）有利于找到图像边
2015-07-10 11:31:32
56921
5
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人