机器学习
wangfenghui132
这个作者很懒,什么都没留下…
展开
-
线性判别分析(Linear Discriminant Analysis)
1. 问题 之前我们讨论的PCA、ICA也好,对样本数据来言,可以是没有类别标签y的。回想我们做回归时,如果特征太多,那么会产生不相关特征引入、过度拟合等问题。我们可以使用PCA来降维,但PCA没有将类别标签考虑进去,属于无监督的。 比如回到上次提出的文档中含有“learn”和“study”的问题,使用PCA后,也许可以将这两个特征合并为一个,降了维度。但假设我们的转载 2015-11-30 13:56:13 · 512 阅读 · 0 评论 -
线性判别函数
最近看到线性判别分析LDA,然后发现网上有少量的文章说线性判别函数和LDA很相似,当时就感觉虽然名字很像,但这完全是两个不相关的模型。所以就把这些东西详细地区别了一下。一、线性判别函数1、函数是对模式进行分类的准则函数,因此非常明显线性判别函数是用来进行模式识别的。若分属于ω1,ω2的两类模式可用一方程d(X) =0来划分,那么称d(X) 为判别函数,或称判决函数、决策函数。例原创 2015-12-01 16:10:57 · 10445 阅读 · 0 评论 -
从DeepLearnToolbox-master看CNN
卷积神经网络揭开卷积神经网络神秘的面纱,发现CNN也不过如此,就像对普通NN一样,第一步了解网络结构,第二步了解节点计算方法,第三步反向调节误差。就可以完全认识这个模型了。从网上看的大部分资料感觉很少有能够说清楚的,CNN确实原本也是一个比较难说明白的模型,所以从大牛的代码来看CNN会更清晰。一、 CNN结构原创 2015-12-05 23:21:33 · 3059 阅读 · 0 评论 -
让你惊艳的PCA
我一直误以为自己记述了这个历程,今天翻开博客发现竟然没有任何记录。事情从很早前的一个失眠的夜晚说起,一个数据集假设有d个特征属性,但是我想使用d’ < d个特征属性来尽可能的表示这个特征,那我要怎么做,那么我如何尽可能多的保留原始数据的信息呢。暂且以二维数据d=2为例,后面会扩展到多维d > 2。 如下图所示,这些二维的数据,可以通过两个坐标轴的数值完完全全的反映数据的信息。那么我能不能通过一个数原创 2017-06-11 22:36:13 · 356 阅读 · 0 评论 -
Torch Threads
Torch Threads最近在读openface源码的时候,对里面的线程不怎么清楚。然后就到github上读了下说明。Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键简介你可能会想为什么另外开发一个基于lua的线程包?其实就我所知,目前存在的线程包作用十分有限,仅仅原创 2016-11-09 13:25:36 · 1048 阅读 · 0 评论 -
目标检测的图像特征提取之(一)HOG特征
转载地址:http://blog.csdn.net/zouxy09/article/details/79293481、HOG特征: 方向梯度直方图(Histogram of Oriented Gradient, HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。Hog特征结合SVM分类器已经被转载 2017-07-25 19:46:21 · 267 阅读 · 0 评论 -
使用统计学习计算选出所有牌有效且没有无效牌的概率
题目:桌面上有六张扣着的牌,其中三张牌的信息是有效的,三张牌的信息是无效的。一个人在不知道有多少张有效信息牌数的情况下,让他一次性选择 N 张牌,请问他一次性选出所有有效牌且没有无效牌的概率是多少?第一次算的是C(3,n)/C(6,n),当然这道题目最终想要的应该是一个值才对,但是问题来了,按照统计学习的思想,题目中并没有给出先验分布,也就是说N服从什么分布,如果N服从均匀分布,那么结果就是1/6*原创 2017-08-21 15:49:56 · 408 阅读 · 0 评论 -
从损失函数谈一谈adaboost和GBDT和xgboost的区别
adaboost和GBDT和xgboost在损失函数的最优化方法是有很多不同的,三者的不同之处其实就在于最优化方法的不同(这样说不知道是否妥当,至少站在这个角度的我认为是正确的,多年后可能发现这个观点不太妥当)。adaboost在李航博士的《统计学习基础》里面用加法模型和向前算法解释了权值更新策略。在解释的过程中,样本权值更新和弱分类器权值的求取是直接通过偏导数等于零来计算的,如果记不清楚的可以回原创 2017-09-07 23:10:17 · 8797 阅读 · 1 评论 -
指数分布族的后验概率函数都可以是logistic/sigmod形式
logistic regression的鲁棒性较强,针对样本的不同分布都可以得到一个相当不错的效果。在Andrew Ng的课程里面说过,logistic function可以用来做样本符合指数分布族的后验概率函数。三年前的自己怎么都想不通为什么,还抱着一本广义线性模型翻来覆去的看,也没看出个端倪。想想自己学习知识也真是不够系统的。前两天又看到这个定义,恍然大悟。 指数分布族的表现形式参考该链原创 2018-01-03 15:29:52 · 1250 阅读 · 0 评论