机器学习
文章平均质量分 68
老子今晚不加班
毕业于西北工业大学,学了点编程技术,不知道怎么的,上了研究生
展开
-
Adaboost 原理
转载自http://blog.csdn.net/haidao2009/article/details/7514787菜鸟最近开始学习machine learning。发现adaboost 挺有趣,就把自己的一些思考写下来。主要参考了http://stblog.baidu-tech.com/?p=19,其实说抄也不为过,但是我添加了一些我认为有意思的东西,所以我还是把它贴出来了,呵呵转载 2014-03-04 15:09:31 · 728 阅读 · 0 评论 -
softmax原理及Matlab实现
一、从广义线性模型中导出softmax模型原创 2015-03-13 15:54:58 · 28886 阅读 · 11 评论 -
Ensemble Learning 集成学习
基本概念通过对多个学习期进行结合,获得比单个学习器更优的结果。Hoeffding InequalityHoeffding Inequality提供了独立随机变量之和偏离期望值的概率的上界。 特殊情况:当随机变量是Bernoulli分布时,假设随机变量x=1x=1的概率为p,进行了n次实验,随机变量xx 之和至多为kk的概率为: P(H(n)≤k)=∑i=0k(n i)pi(1−p)(n−i)P(原创 2017-03-13 20:58:39 · 829 阅读 · 0 评论 -
深度学习框架Caffe学习之依赖库
Caffe是UC Berkeley的Ph.D贾扬清写的一个用于深度学习的框架,编程语言C++,GPU计算则是使用cuda加速,CPU的计算主要是依赖于BLAS进行加速。依赖库如下: 1. CudaNVIDIA公司推出的基于NVIDIA显卡的GPU计算接口,大大提高计算速度2. BLASBasic Linear Algebra Subprograms,即基础线性代数子程序库,提供了各种加速向量和矩原创 2016-06-14 22:16:05 · 3751 阅读 · 0 评论 -
Reservoir Sampling 蓄水池抽样
Reservoir Sampling:从N个数中随机抽取k个元素,保证每个元素被选中的概率相等,N不知道有多大。分析:这个问题称为蓄水池抽样,经典方法:Init : a reservoir with the size: kfor(int i = k + 1; i { m = random(1, i); if(k >= m)转载 2016-05-22 22:19:15 · 722 阅读 · 0 评论 -
生成学习算法、高斯判别分析与朴素贝叶斯模型
转自http://www.cnblogs.com/jerrylead1判别模型与生成模型上篇报告中提到的回归模型是判别模型,也就是根据特征值来求结果的概率。形式化表示为,在参数确定的情况下,求解条件概率。通俗的解释为在给定特征后预测结果出现的概率。比如说要确定一只羊是山羊还是绵羊,用判别模型的方法是先从历史数据中学习到模型,然后通过提取这只羊的特征来预测出这只羊是山羊的概率转载 2015-03-18 15:49:39 · 2146 阅读 · 0 评论 -
广义线性模型与Logistic回归
广义线性模型 广义线性模型应满足三个假设:第一个假设为给定X和参数theta,Y的分布服从某一指数函数族的分布。第二个假设为给定了X,目标是输出 X条件下T(y)的均值,这个T(y)一般等于y,也有不等的情况,第三个假设是对假设一种的变量eta做出定义。指数函数族前面提到了指数函数族,这里给出定义,满足以下形式的函数构成了指数函数族:原创 2015-03-12 22:17:05 · 4399 阅读 · 0 评论 -
Jackknife 刀切法
一、简介Jackknife(刀切法)是有Maurice Quenouille (1949)提出的一种再抽样方法,其原始动机是降低估计的偏差。Jackknife为一种瑞士小折刀,很容易携带。通过类比, John W. Tukey (1958)在统计学中创造了这个术语,作为一种通用的假设检验和置信区间计算的方法。Jackknife类似于“Leave one out”的交叉验证方法。令X=(原创 2015-01-20 11:08:52 · 39702 阅读 · 2 评论 -
Bootstrap 自助法
一、简介Bootstrap是一个很通用的算法,用来估计标准误差、置信区间和偏差。由Bradley Efron于1979年提出,用于计算任意估计的标准误差。术语“Bootstrap”来自短语“to pull oneself up by one’s bootstraps” (源自西方神话故事“ TheAdventures of Baron Munchausen”,男爵掉到了深湖底,没有工具,所原创 2015-01-14 15:35:20 · 37380 阅读 · 1 评论 -
Matlab中的数据预处理-归一化(mapminmax)与标准化(mapstd)
最近遇到数据预处理的一些问题,本来很简单的东西,但是却搞的烦烦的,痛定思痛,决定自己实现一下。一、mapminmaxProcess matrices by mapping row minimum and maximum values to [-1 1]意思是将矩阵的每一行处理成[-1,1]区间,此时对于模式识别或者其他统计学来说,数据应该是每一列是一个样本,每一行是多个样本的同一维,即原创 2015-01-21 13:02:04 · 147972 阅读 · 12 评论 -
Bootstrap aggregating----Bagging
一、简介Bootstrap aggregating 又称为Bagging 是一种用来增强学习算法准确度的算法,由 Leo Breiman 在1994年提出,能够用来提高不稳定算法的准确度和稳定性,通常用于统计分类和回归中,它能够减小方差并避免过拟合。基本思想是利用Bootstrap算法从训练集中有放回的抽样,得到M个训练集,利用机器学习算法获得在每个新的训练集上的结果,对于分类,对M个结原创 2015-01-20 11:32:08 · 1774 阅读 · 0 评论 -
LBP特征理解
本文的PDF版本,以及涉及到的所有文献和代码可以到下列地址下载:1、PDF版本以及文献:http://download.csdn.net/detail/ty101/53498162、原作者的MATLAB代码:http://download.csdn.net/detail/ty101/5349894LBP一种用来描述图像纹理特征的算子,该算子由芬兰奥卢大学的T.Ojala等人转载 2014-04-25 23:21:29 · 4611 阅读 · 1 评论 -
机器学习方面的代码库
今天给大家介绍一下经典的开源机器学习软件:编程语言:搞实验个人认为当然matlab最灵活了(但是正版很贵),但是更为前途的是python(numpy+scipy+matplotlib)和C/C++,这样组合既可搞研究,也可搞商业开发,易用性不比matlab差,功能组合更为强大,个人认为,当然R和java也不错.1.机器学习开源软件网(收录了各种机器学习的各种编程语言学术与商业的开源转载 2014-03-12 11:19:10 · 608 阅读 · 0 评论 -
Adaboost
背景:基于手掌识别的应用这里研究的是haar-like特征,上一篇博文用的是LBP,但是发现LBP效果没有haar-like特征那么好,故只研究了haar-like特征,那么自然而然的就想知道其原理是如何运作的,故有了下面的研究,研究过程中参照了许多大牛写的文章和论文,故我只讲我学习到的内容写下来。而且下面的方向的实现还很不理想,在关于手的识别中,当背景复杂的情况下,错误率太高,得想办法解决或者等转载 2014-03-05 14:13:02 · 1620 阅读 · 0 评论 -
Linux 编译SSD Caffe目标检测代码
引言SSD: Single Shot MultiBox Detector 是ECCV 2016上发表的目标检测的论文但是编译的时候确出现了 Type name declared error等问题,我们使用GCC5.4重新编译了ssd 版caffe代码,对于有些依赖库我们重新编译。原创 2017-12-06 23:55:26 · 1047 阅读 · 0 评论