青萍之末的博客

目前了解到的MATLAB中分类器有：K近邻分类器，随机森林分类器，朴素贝叶斯，集成学习方法，鉴别分析分类器，支持向量机。现将其主要函数使用方法总结如下，更多细节需参考MATLAB 帮助文件。设　　训练样本：train_data     &n...

【编者按】针对Quora上的一个老问题：不同分类算法的优势是什么？Netflix公司工程总监Xavier Amatriain近日给出新的解答，他根据奥卡姆剃刀原理依次推荐了逻辑回归、SVM、决策树集成和深度学习，并谈了他的不同认识。他并不推荐深度学习为通用的方法，这也侧面呼应了我们之前讨论的问题：深度学习能否取代其他机器学习算法。不同分类算法的优势是什么？例如有大量的训练数据集，上万的实例，超...

一、线性回归1、核心思想  这可能是机器学习中最简单的算法。例如，当你想要计算一些连续值，而不是将输出分类时，可以使用回归算法。因此，当你需要预测一个正在运行的过程未来的值时，你可以使用回归算法。然而，当特征冗余，即如果存在多重共线性（multicollinearity）时，线性回归就不太稳定。2、优缺点分析【优点】：建模速度快，不需要很复杂的计算，在数据量大的情况下依然运行...

简介  决策树是一种解决分类和回归的的模型。决策树由节点和有向边组成。节点分为两种，内部节点和叶节点。每个叶节点都代表一个特征，根据每个输入的该特征的值的不同，该输入会被分向不同的有向边，指向下一级节点，直到叶节点为止，每一个叶节点都是一个输出。回归问题中每一个叶节点都是一个值，分类问题中每一个叶节...

  提升(boosting)方法是一种常用的统计学习方法，应用广泛且有效。在分类问题中，它通过改变训练样本的权重，学习多个分类器，并将这些分类器进行线性组合，提高分类的性能。   基本思想：对于分类问题而言，给定一个训练样本集，求比较粗糙的分类规则(弱分类器)要比求精确的分类规则(强分类器)容易得多。提升方法就是从弱学习算法出发，反复学习，得到一系列弱分类器(又称为基本分类器)，然后组合这些弱分...

一、感知器（机）  上图的圆圈就代表一个感知器。它接受多个输入（x1，x2，x3…），产生一个输出（output），好比神经末梢感受各种外部环境的变化，最后产生电信号。  为了简化模型，我们约定每种输入只有两种可能：1 或 0。如果所有输入都是1，表示各种条件都成立，输出就是1；如果所有输入都是0，表示条件都不成立，输出就是0。  对于输入信号，它们对于输出信号的重要性是不一样的，...

转自：http://www.ilovematlab.cn/thread-35262-1-1.htmlSVM相关资源汇总[matlab-libsvm-class-regress](by faruto)          

  支持向量机(support vector machines, SVM)是一种二类分类模型。它的基本模型是定义在特征空间上的间隔最大的线性分类器；支持向量机还包括核技巧，这使它成为实质上的非线性分类器。支持向量机的学习策略就是间隔最大化，可形式化为一个求解凸二次规划(convex quadratic programming)的问题，也等价于正则化的合页损失函数的最小化问。支持向量机的学习算法是求...

一、线性回归1、线性回归的概念  如果特征值之间存在线性关系就可以使用线性回归建模对其预测结果。（1）函数模型（2）最小二乘法求解  何为最小二乘法，其实很简单。我们有很多的给定点，这时候我们需要找出一条线去拟合它，那么我先假设这个线的方程，然后把数据点代入假设的方程得到观测值，求使得实际值与观测值相减的平方和最小的参数。对变量求偏导联立便可求。   如果矩阵不满...

一、全概率公式和贝叶斯公式1、全概率公式 2、贝叶斯公式二、朴素贝叶斯算法1、算法简介  贝叶斯分类算法是统计学的一种分类方法，其分类原理就是利用贝叶斯公式根据某对象的先验概率计算出其后验概率，然后选择具有最大后验概率的类作为该对象所属的类。之所以称之为”朴素”，是因为贝叶斯分类只做最原始、最简单的假设:所有的特征之间是统计独立的（假设某样本x有a1,…,aM个属性,...

1、KNN算法简介  KNN（K-Nearest Neighbor）算法即K最邻近算法，是实现分类器中比较简单易懂的一种分类算法。K临近之所以简单是因为它比较符合人们直观感受，即人们在观察事物，对事物进行分类的时候，人们最容易想到的就是谁离那一类最近谁就属于哪一类，即俗话常说的“近朱者赤，近墨者黑”，人们自然而然地把这种观察方式延伸到数据分类处理领域。K-NN算法就是基于欧几里得距离推断事物类...

1、统计学习  统计学习是基于数据构建统计模型从而对数据进行预测和分析，统计学习由监督学习（有用于学习的训练数据）、无监督学习、半监督学习和强化学习组成。  统计学习三要素：模型+策略+算法（MSA）。实现统计学习方法的步骤： 1. 得到一个有限的训练数据集合； 2. 确定包含所有可能模型的假设空间，即学习模型的集合； 3. 确定模型选择的准则，即学习的策略； 4. 实...

凸优化概述

一、最小二乘法    最小二乘法最初是由法国数学家勒让德（Adrien-Marie Legendre）提出的，他曾因参与标准米的制定而闻名。勒让德痴迷于预测彗星的位置，基于彗星曾出现过的几处位置，百折不挠的计算彗星的轨道，在经历无数的测试后，他终于想出了一种方法平衡计算误差，随后在其1805年的著作《计算慧星轨道的新方法》中发表了这一思想，也就是著名的最小二乘法。    勒让德将最

数据竞赛类网站Kaggle阿里巴巴天池大数据比赛DataCastleCCF大数据与计算智能大赛Di-Tech算法大赛KDD-CupKDnuggets Competition全国高校云计算应用创新大赛Byte Cup国际机器学习竞赛WID数据竞赛数据火车竞赛网站DrivenData Competition上海SODA大赛赛氪网TopCoder大赛网kaggle竞赛冠军源代码

转自：http://blog.csdn.net/wonengguwozai/article/details/51591611在运行功能为MATLAB生产mat格式数据的文件中，运行时提示：Undefined variable ‘caffe’，两个解决方案：1) 可能matcaffe接口编译没有成功或者是有问题：对此，进行了matcaffe接口测试，可以正常，但是相应的在ca

7、安装opencv2.4.9    这个地方坑也不少，用Python写代码用于图像处理时，常常要和opencv结合起来，所以需要安装opencv，我这里用的版本是2.4.9，Python版本是2.7。    (1) 下载 opencv 源码。    (2) 解压到任意目录    unzip opencv-2.4.9.zip    (3) 进入源码目录，创建release目录（

4、下载Caffe (参考：http://blog.csdn.net/u010402483/article/details/51506616)    使用Git直接下载Caffe非常简单，或者去https://github.com/BVLC/caffe下载    git clone git://github.com/BVLC/caffe.git    切换到Caffe所在目录，cp M

深度学习框架的配置过程真是血泪史啊，如果想把所有模块都配置好，还是要花不少功夫的，这其中肯定会有不少坑。记录下自己安装caffe的整个过程：1、检查自己电脑的配置    这一步很重要，也是最容易被忽略的。如果只是看了几个博客，就直接开始配置了，这样的话，在后面后遇到很多问题。经典的配置可能是ubuntu+cuda+cudnn+python+matlab+opencv，但是使用cudnn