机器学习
文章平均质量分 72
Bicelove
图像识别、深度学习
展开
-
机器学习、大数据、深度学习、数据挖掘、统计、决策和风险分析、概率和模糊逻辑的常见问题解答
1、机器学习、大数据、深度学习、数据挖掘、统计、决策和风险分析、概率、模糊逻辑等有什么不同? 答:除了属于、具体目标和文化等,并没有什么本质的区别。它们都是概率的分支,对不确定性的理解和量化。概率本身就是逻辑的一种扩展。 2、概率和逻辑之间有什么不同? 答:两者并没有特别大的区别,除了,概率对不确定性的处理,逻辑对应着确定性。机器学习、统计等都是一种不确定性的事转载 2014-05-11 10:42:31 · 2219 阅读 · 0 评论 -
Cross Validation
交叉验证(CrossValidation)方法思想简介以下简称交叉验证(Cross Validation)为CV.CV是用来验证分类器的性能一种统计分析方法,基本思想是把在某种意义下将原始数据(dataset)进行分组,一部分做为训练集(train set),另一部分做为验证集(validation set),首先用训练集对分类器进行训练,在利用验证转载 2014-11-17 18:49:48 · 1181 阅读 · 1 评论 -
判别式模型与生成式模型
判别式模型与生成式模型发表于2011-09-16摘要 生成式模型:无穷样本 -> 概率密度模型 = 产生式模型 -> 预测 判别式模型:有限样本 -> 判别函数 = 判别式模型 -> 预测简介 简单的说,假设 o 是观察值,m 是模型。 如果对 P(o|m) 建模,就是生成式模型。其基本思想是首先建立样本的概率密转载 2014-11-25 15:22:10 · 1557 阅读 · 0 评论 -
SVM的特点与不足
SVM有如下主要几个特点:(1)非线性映射是SVM方法的理论基础,SVM利用内积核函数代替向高维空间的非线性映射;(2)对特征空间划分的最优超平面是SVM的目标,最大化分类边际的思想是SVM方法的核心;(3)支持向量是SVM的训练结果,在SVM分类决策中起决定作用的是支持向量。(4)SVM 是一种有坚实理论基础的新颖的小样本学习方法。它基本上不涉及概率测度及大数定律等,因此不同转载 2014-10-13 16:04:50 · 7554 阅读 · 0 评论 -
Locality Preserving Projections局部保持投影
本文是对何晓飞老师的论文Locality Preserving Projections的yixielijie原创 2014-09-03 16:39:44 · 13469 阅读 · 0 评论 -
范数规则化
http://blog.csdn.net/zouxy09/article/details/24971995转载 2014-05-04 16:22:29 · 685 阅读 · 0 评论 -
LDA-math-MCMC 和 Gibbs Sampling
3.1 随机模拟随机模拟(或者统计模拟)方法有一个很酷的别名是蒙特卡罗方法(Monte Carlo Simulation)。这个方法的发展始于20世纪40年代,和原子弹制造的曼哈顿计划密切相关,当时的几个大牛,包括乌拉姆、冯.诺依曼、费米、费曼、Nicholas Metropolis, 在美国洛斯阿拉莫斯国家实验室研究裂变物质的中子连锁反应的时候,开始使用统计模拟的方法,并在最早的计算机上转载 2014-09-02 18:19:16 · 889 阅读 · 0 评论 -
正则化
最近听老师的原创 2014-05-16 16:25:12 · 2077 阅读 · 0 评论 -
PCA 降维算法详解 以及代码示例
1. 前言 PCA : principal component analysis ( 主成分分析)最近发现我的一篇关于PCA算法总结以及个人理解的博客的访问量比较高, 刚好目前又重新学习了一下PCA (主成分分析) 降维算法, 所以打算把目前掌握的做个全面的整理总结, 能够对有需要的人有帮助。 自己再看自己写的那个关于PCA的博客, 发现还是比较混乱的, 希望这里能过做好整理。 本转载 2014-08-25 14:57:17 · 1918 阅读 · 0 评论 -
Deep Learning模型之:CNN卷积神经网络(三)CNN常见问题总结
遇到的问题梯度消失我在实现过程中犯的第一个错误是没有循序渐进。仗着自己写过一些神经网络的代码以为手到擒来,直接按照LeNet-5的结构写,过于复杂的结构给测试和调试都带来了很大的麻烦,可谓不作死就不会死。简单分析一下LeNet-5的结构:第一层8个5*5的卷积核,第二层分别作2*2pooling,第三层16个5*5的卷积核,第四层2*2pooling,随后是三个节点转载 2014-05-20 11:38:08 · 22585 阅读 · 2 评论 -
迁移学习的相关概念
之前谈到了迁移学习和自我学习(可以看这里),今天会系统整理一下与迁移学习相互关联的几个概念。 迁移学习的目标是将从一个环境中学到的知识用来帮助新环境中的学习任务。用一句不正式的语言来定义,则是说,当教会了d电脑学习区分大象和犀牛的能力后,电脑利用这一本领更快或更准确地来学习如何区分飞机和鸟。因为人具有知识迁移的能力(所谓温故而知新),当我们学会了一项本领后,再去学习另外一项相关的转载 2014-06-23 22:02:20 · 1734 阅读 · 0 评论 -
聚类——混合高斯模型 Gaussian Mixture Model
聚类的方法有很多种,k-means要数最简单的一种聚类方法了,其大致思想就是把数据分为多个堆,每个堆就是一类。每个堆都有一个聚类中心(学习的结果就是获得这k个聚类中心),这个中心就是这个类中所有数据的均值,而这个堆中所有的点到该类的聚类中心都小于到其他类的聚类中心(分类的过程就是将未知数据对这k个聚类中心进行比较的过程,离谁近就是谁)。其实k-means算的上最直观、最方便理解的一种聚类方式了,原转载 2014-06-23 14:19:18 · 1330 阅读 · 0 评论 -
聚类——层次聚类Hierarchical Clustering
不管是GMM,还是k-means,都面临一个问题,就是k的个数如何选取?比如在bag-of-words模型中,用k-means训练码书,那么应该选取多少个码字呢?为了不在这个参数的选取上花费太多时间,可以考虑层次聚类。假设有N个待聚类的样本,对于层次聚类来说,基本步骤就是: 1、(初始化)把每个样本归为一类,计算每两个类之间的距离,也就是样本与样本之间的相似转载 2014-06-23 16:19:24 · 1077 阅读 · 0 评论 -
迁移学习&自我学习
最近在看Ng的深度学习教程,看到self-taught learning的时候,对一些概念感到很陌生。作为还清技术债的一个环节,用半个下午的时间简单搜了下几个名词,以后如果会用到的话再深入去看。 监督学习在前一篇博客中讨论过了,这里主要介绍下迁移学习、自我学习。因为监督学习需要大量训练样本为前提,同时对训练样本的要求特别严格,要求训练样本与测试样本来自于同一分布。要是满足不了转载 2014-06-23 17:59:13 · 1308 阅读 · 0 评论 -
计算机视觉、机器学习相关领域论文和源代码大集合
原文转自:http://blog.csdn.net/zouxy09/article/details/8550952原作者是zouxy09,不过作者的代码部分也应该基于UIUC某同学的总结。这次转载是在寻找unsupervised image segmentation的方法及源代码的时候搜寻到了这里,找到了Efficient Graph-based Image Segmentation转载 2014-06-23 18:20:01 · 1087 阅读 · 0 评论 -
无监督学习与监督学习
机器学习的常用方法,主要分为有监督学习(supervised learning)和无监督学习(unsupervised learning)。监督学习,就是人们常说的分类,通过已有的训练样本(即已知数据以及其对应的输出)去训练得到一个最优模型(这个模型属于某个函数的集合,最优则表示在某个评价准则下是最佳的),再利用这个模型将所有的输入映射为相应的输出,对输出进行简单的判断从而实现分类的目的,也就转载 2014-06-23 15:06:53 · 1121 阅读 · 0 评论 -
Sparsity and Some Basics of L1 Regularization
Sparsity 是当今机器学习领域中的一个重要话题。John Lafferty 和 Larry Wasserman 在 2006 年的一篇评论中提到:Some current challenges … are high dimensional data, sparsity, semi-supervised learning, the relation between computat转载 2014-05-14 12:31:40 · 941 阅读 · 0 评论 -
反向传播BP算法
深度神经网路已经在语音识别,图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。第一篇,从最经典的BP网络开始。我不打算详细描述神经网络的生物学运行机理,因为网络上有太多的教程可以参考。这里,主要描述其数学上的计算过程,并且采用的符号可能与其它参考书上的符号有很大差异。特别是,斯坦福官方网站上对深度网络中所引用转载 2014-09-05 16:49:25 · 3886 阅读 · 1 评论