判别分析
wishchin
CV算法工程师:从事室内场景感知方面工作,完成算法实验和软件开发。
展开
-
SVM: 支持向量机中的,那个C
很久很久以前,有一个....最近公司出了幺蛾子,我闻风而逃,在避暑之后,又开始面试。在得到offer之后,入职时间较晚,面试也在进行。有一天,禾多科技通知面试深度学习算法工程师,其实那时候我都不知道什么时候投递过简历。有一个时刻,面试官看着我的简历上,讲解过SVM课程,问:SVM中的那个C是什么?SVM中的那个C是什么?那个C!C! !瞬时间我震惊了.........其实,是...原创 2019-10-14 17:20:10 · 1911 阅读 · 0 评论 -
统计机器学习那些事
把统计方法引入机器学习领域,作为机器学习的一个方法论,取得了显著的成果。AI到底是不是一个完备性问题值得探讨,而模糊逻辑为探索语义完备性的应用范围开辟了一个好的方向,统计机器学习方法对规则的提取与模糊逻辑表象相似,统计机器学习方法妄图使用优良数据来表示规则,并使用动态数据描述规则的动态性,使模型成为动态模型,不断提高准确率和应用范围。转载 2013-09-23 09:53:19 · 2747 阅读 · 0 评论 -
***稀疏表达:向量,矩阵,张量
稀疏肯定是好的,关键是怎样稀疏,要得到什么样的稀疏,以及要获得怎样的模式 , 说到底还是专家데功劳。稀疏表达是近年来SP, ML, PR, CV领域中的一大热点,文章可谓是普天盖地,令人目不暇给。老板某门课程的课程需要大纲,我顺道给扩展了下,就有了这个上中下三篇介绍性质的东西。转载 2013-09-23 09:37:12 · 3328 阅读 · 0 评论 -
支持向量机的近邻理解:图像二分类为例(1)
一个古老的哲学原理:世界并不是以小包的形式来到我们面前,除非遍历整个空间,任何训练得到的模型都是过拟合的。面对学习问题,首先面对这一个空间的认知问题,对空间结构的认识来自于接口,而全面的认识来自于遍历。在认识一个未知空间之前,一般的套路是由接口获取的数据对这个空间进行简单假设,迭代修改理解规则,最后到遍历。原创 2016-10-19 17:37:01 · 2026 阅读 · 0 评论 -
ML:流形学习
流形在某一点的维度就是该点映射到的欧氏空间图的维度(定义中的数字n)。连通流形中的所有点有相同的维度。有些作者要求拓扑流形的所有的图映射到同一欧氏空间。这种情况下,拓扑空间有一个拓扑不变量,也就是它的维度。其他作者允许拓扑流形的不交并有不同的维度。自从2000年以后,流形学习被认为属于非线性降维的一个分支。众所周知,引导这一领域迅速发展的是2000年Science杂志上的两篇文章: Isomap and LLE (Locally Linear Embedding)。转载 2014-08-20 18:29:01 · 1430 阅读 · 0 评论 -
DNN:逻辑回归与 SoftMax 回归方法
第四章:SoftMax回归UFLDL Tutorial 翻译系列:http://deeplearning.stanford.edu/wiki/index.php/UFLDL_Tutorial简介:见 AI : 一种现代方法。Chapter21. Reinforce Learning p.703 Softmax函数为多个变量的Logitic函数的泛化. ...翻译 2016-05-18 18:59:20 · 8056 阅读 · 0 评论 -
DNN结构演进History—CNN-GoogLeNet :Going Deeper with Convolutions
GoogleNet的研究点是引入了Inception结构,构建网络中的网络,使网络稀疏化,使CNN网络更像一个“神经元-网络”。因此可以实现:看起来更深,其实更稀疏,全局性能更好的网络。在数学上表示为,把稀疏网络转化成局部稠密的网络,加快计算速度。 本文提出了一种新的分类和检测的新网络。该网络最大的特点就是提升了计算资源的利用率。在网络需要的计算不变的前提下,通过工艺改进来提升网络的宽度和深度。最后基于Hebbian Principle和多尺寸处理的直觉来提高性能。翻译 2016-05-13 11:55:17 · 2337 阅读 · 0 评论 -
ANN:DNN结构演进History—RNN
前言废话: CNN在图像处理领域的极大成功源于CNN的二维递进映射结构,通过训练多层卷积核来进行特征提取函数训练,在二维图像的稀疏表达和语义关联分析方面有天生的结构优势。而涉及时序问题的逻辑序列分析—边长序列分析,需要引入适合解决其问题的方法。 引入RNN:在深度学习领域,传统的前馈神经网络(feed-forward neural net,简称FNN)具有出色的表现...转载 2015-08-24 11:56:15 · 2635 阅读 · 0 评论 -
ANN:ML方法与概率图模型
— 产生式模型(生成模型)估计联合概率P(x,y),因可以根据联合概率来生成样本:HMMs— 判别式模型(判别模型)估计条件概率P(y|x),因为没有x的知识,无法生成样本,只能判断分类:SVMs,CRF,MEMCRF条件随机场模型是由Lafferty在2001年提出的一种典型的判别式模型。转载 2015-04-17 20:44:51 · 5460 阅读 · 0 评论 -
OpenCV:使用 随机森林与GBDT
随机森林顾名思义,是用随机的方式建立一个森林。简单来说,随机森林就是由多棵CART(Classification And Regression Tree)构成的。对于每棵树,它们使用的训练集是从总的训练集中有放回采样出来的,这意味着,总的训练集中的有些样本可能多次出现在一棵树的训练集中,也可能从未出现在一棵树的训练集中。在训练每棵树的节点时,使用的特征是从所有特征中按照一定比例随机...原创 2015-06-16 16:33:25 · 2731 阅读 · 1 评论 -
CNN结构:用于检测的CNN结构进化-分离式方法
基于CNN的目标检测框架主要有两种:一种是 one-stage ,例如 YOLO、SSD 等,这一类方法速度很快,但识别精度没有 two-stage 的高,其中一个很重要的原因是,利用一个分类器很难既把负样本抑制掉,又把目标分类好。 另外一种目标检测框架是 two-stage ,以 Faster RCNN 为代表,这一类方法识别准确度和定位精度都很高,但存在着计算效率低,资源占用大的问题。转载 2017-08-15 10:27:38 · 2051 阅读 · 0 评论 -
Learning Face Age Progression: A Pyramid Architecture of GANs
前言 作为IP模式识别的CNN初始模型是作为单纯判别式-模式识别存在的,并以此为基本模型扩展到各个方向。基本功能为图像判别模型,此后基于Loc+CNN的检测模型-分离式、end2end、以及MaskCNN模型,而后出现基于CNN的预测模型-AcGans。 CNN作为一个基本判别式模型简化为数学模型依然为一个函数映射f(x)->y; 基于CNN的检测模型数学模型为 L...翻译 2018-06-19 16:40:44 · 936 阅读 · 0 评论 -
CNN的稀疏结构分析-CVPR2018
文章地址:CVPR2018高效小网络探秘...CVPR2018高效小网络探秘II...本文介绍、梳理和对比高效小网络,包括早期的经典模型SqueezeNet, MobileNet(V1), 和CVPR 2018最新模型ShuffleNet, IGCV2, MobileNetV2, 探究短小精悍的秘密,学习设计理念和技术,回答以下两个问题:题图是ImageNet上的top-1准确率 vs 理论计算量...转载 2018-07-05 18:03:40 · 4368 阅读 · 0 评论 -
OpenCV: OpenCV人脸检测框可信度排序
使用OpenCV进行人脸识别时,使用 casecade.detectMultiScale 函数,可输出每个检测框的置信度原创 2017-04-18 16:48:04 · 1949 阅读 · 0 评论 -
OpenCV:OpenCV目标检测Boost方法单独训练
在古老的CNN方法出现以后,并不能适用于图像中目标检测。20世纪60年代,Hubel和Wiesel( 百度百科 )在研究猫脑皮层中用于局部敏感和方向选择的神经元时发现其独特的网络结构可以有效地降低反馈神经网络的复杂性,继而提出了卷积神经网络(Convolutional Neural Networks-简称CNN)。 参考:DNN的演进结构——CNN ...原创 2017-03-22 13:05:19 · 1884 阅读 · 0 评论 -
最优化:**回归/拟合方法总结
回归分析是建模和分析数据的重要工具。本文解释了回归分析的内涵及其优势,重点总结了应该掌握的线性回归、逻辑回归、多项式回归、逐步回归、岭回归、套索回归Lasso Regression、ElasticNet回归、SoftMax回归等八种最常用的回归技术及其关键要素,最后介绍了选择正确的回归模型的关键因素。 当然数据并非我想面对的,所谓处理数据的根本目的是为了重建模型的结构...转载 2015-08-24 11:40:02 · 43006 阅读 · 0 评论 -
CVPR2015深度学习回顾
ConvNet革命:一个网络预训练;计算机视觉的开源深度学习:Torch VS Caffe;嵌入大脑的视频游戏引擎:面向机器智能的不同路径;深度场景CNNs物体检测器;CVPR无意之事:ArXiv出版狂热 & 百度惨败。转载 2015-08-24 15:03:45 · 862 阅读 · 0 评论 -
VS2013(Win10X64)-配置编译Caffe
2014年4月的时候自己在公司就将Caffe移植到Windows系统了,今年自己换了台电脑,想在家里也随便跑跑,本来也装了Ubuntu可以很方便的配置好,无奈在家的风格是“娱乐的时候抽空学习”,所以移植到Windows还是很有必要的。但是,公司禁止将公司内部资料带出,很多地方又都忘记了,周末磨了一天终于移植完,本篇为记录将Caffe移植至Windows7 x64系统下的一些关键步骤。下面介绍如何从源码建立VS2013工程。转载 2015-04-19 13:11:24 · 5287 阅读 · 0 评论 -
支持向量机的近邻理解:图像二分类为例(2)
从可见样本归纳出假设空间,与事实空间一般不会相同,这就意味着泛化是个概率性的问题。在图1中的例子中可以看出,严格来说,符合专家直觉特征提取过程并不符合甚至可视样本空间的要求,二维线性不可分映射到三维向量空间线性可分是对特征提取的弥补。 一切直觉可计算的,便是递归可计算的。既然符合直觉的特征提取看似永远不能满足仅仅是可见样本空间的要求,就使用一劳永逸的方案,使用模型来解决特征空间的可描述性。原创 2016-10-20 12:03:49 · 2388 阅读 · 0 评论 -
支持向量机的近邻理解:图像二分类为例(3)
在图像识别领域,灰度图像被称为传说中的2维张量,任意图像为由所有二类图像构成的这个二维张量空间内的一个点。由人类专家完成图像属性归纳,把二维张量空间图像的特征显式的归结为一维张量空间的n维向量上,被称为特征提取。一般提取的特征并不一定能在n维向量空间中线性可分,这就需要再由模型进行一次映射,把向量样本转换到新的空间实现线性可分。原创 2016-10-22 16:21:29 · 1302 阅读 · 0 评论 -
Stanford概率图模型: 第一讲 有向图-贝叶斯网络
贝叶斯网络,亦称信念网络。使用DAG图表示属性之间데依赖关系,并使用条件概率表来描述属性데联合概率分布。若网络데结构已知,即属性之间데依赖关系已知,제训练贝叶斯网络데学习过程相对简单,只需要通过对训练样本进行计数,估计每个样本데条件概率表即可。但在现实应用中,一般依赖关系未知,一般需要先用数据集找出最为恰当的网络结构。转载 2013-11-04 20:14:10 · 3225 阅读 · 0 评论 -
Approximate Nearest Neighbors.接近最近邻搜索
Approximate Nearest Neighbors为接近最近邻搜索,是查找准确度和查找时间데平衡。本文大致介绍了,K决策树、헤一些哈希方法。原创 2014-02-13 16:31:23 · 4954 阅读 · 0 评论 -
决策树:特征分布空间划分方法
如何快速而准确地找到查询点的近邻,不少人提出了很多高维空间索引结构和近似查询的算法。一般说来,索引结构中相似性查询有两种基本的方式:一种是范围查询,范围查询时给定查询点和查询距离阈值,从数据集中查找所有与查询点距离小于阈值的数据另一种是K近邻查询,就是给定查询点及正整数K,从数据集中找到距离查询点最近的K个数据,当K=1时,它就是最近邻查询。转载 2014-03-25 14:10:23 · 9564 阅读 · 2 评论 -
ML一:python的KNN算法
(1):list的排序算法:参考链接:http://blog.csdn.net/horin153/article/details/7076321示例: DisListSorted = sorted(DisList, key = lambda DisList: DisList[1], reverse =False) 使用lambda函数,利用元素索引作为key;在 Python 中,转载 2014-03-05 22:01:56 · 1254 阅读 · 0 评论 -
PythonOpenCV--Rtrees随机森林
原文链接:Python opencv实现的手写字符串识别--SVM 神经网络 K近邻 Boosting、原创 2014-08-11 10:55:07 · 2307 阅读 · 0 评论 -
deeplearning4j – 分布式DL开源项目
Deeplearning4j是一个使用Java书写的商业级的深度学习库。有意思. 一定要完整的看看....Deeplearning4j is the first commercial-grade deep-learning library written in Java. It is meant to be used in business environments, rather than as a research tool for extensive data exploration. Deeple转载 2014-07-06 17:58:08 · 3087 阅读 · 0 评论 -
PythonOpencv-分类器—SVM,KNearest,RTrees,Boost,MLP
原文链接:上一篇文章,不是很详细,这一篇解释的清晰转载 2014-08-11 15:54:20 · 1369 阅读 · 0 评论 -
决策树构建算法之—C4.5
C4.5相比于ID3算法,改进:1.C4.5用的是子树信息增益率。2.在决策树构造过程中进行剪枝。3.对非离散数据也能处理。4 能够对不完整数据进行处理。C4.5算法的优点是:产生的分类规则易于理解,准确率较高。C4.5算法的缺点是:在构造树的过程中,需要对数据集进行多次的顺序扫描和排序,因而导致算法的低效。转载 2014-11-13 10:38:07 · 1409 阅读 · 0 评论