2015年11月_掉下个小石头

12月 11月 10月 09月 08月 07月 06月 05月 04月 03月 02月 01月

转载 [转载]从 SVM 到多核学习 MKL

原文链接： http://zipperary.com/2014/11/27/mkl/?utm_source=tuicool&utm_medium=referralSVM是机器学习里面最强大最好用的工具之一，它试图在特征空间里寻找一个超平面，以最小的错分率把正负样本分开。它的强大之处还在于，当样本在原特征空间中线性不可分，即找不到一个足够好的超平面时，可以利用核（kernel）函数，将特征映射到希尔

2015-11-26 22:10:34 9756 2

原创 ML—线性回归系列（三）—岭回归

华电北风吹日期：2015/11/25本文主要对岭回归(ridge regression)进行总结。本系列的第一篇中线性回归的转化为如下的无约束优化问题 minθ∑mi=1(y(i)−θTx(i))2(0-1)\min_\theta \sum_{i=1}^{m}(y^{(i)}-\theta^Tx^{(i)})^2 \tag{0-1} 其中，x(i)

2015-11-25 21:31:15 1878

原创 ML—线性回归系列（二）—基础统计

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/25线性回归是统计学里面一个非常重要的部分，在本系列的第二部分主要总结一些线性回归的统计学指标。并且不定期更新。一、统计学名词样本与系列第一篇表示一样表示为(x(i),y(i))(x^{(i)},y^{(i)})，模型对于x(i)x^{(i)}的预测值为y^(i)=θ^Tx(i)\hat y^{(i)}=\hat\the

2015-11-25 21:12:47 899

原创 ML—线性回归系列（一）—线性回归

Andrew Zhang Tianjin Key Laboratory of Cognitive Computing and Application Tianjin University Nov 25, 2015本来以为线性回归是一个特简单的东西，最近遇到很多基于线性回归的东西，才意识到我的无知。为了记录最近的学习历程，还是从线性回归开始系统总结一下吧。一、线性回归在实际问题中，在考虑变量

2015-11-25 20:53:09 1588

原创 python常用package下载地址

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/22一、常用库下载地址 1、matplotlib (http://sourceforge.net/projects/matplotlib/files/matplotlib/) 2、numpy (http://sourceforge.net/projects/numpy/files/NumPy/) 3、pyparsi

2015-11-22 17:39:32 5424

原创 ML—常见的特征提取方法

华电北风吹日期：2015/11/20特征提取不同于特征选择，特征提取是利用原有的特征根据一定的算法提取出原始特征中包含的抽象特征。一、PCA(主成分分析) PCA的是一种无监督的特征降维方法。确切来说，PCA不是一种特征降维方法，PCA一次寻找一组正交的映射空间，并且使得能够在这个映射空间上方差最大。二、MDS(Muli-demision scaling) MDS也是一种无监督的特征映射方法

2015-11-20 11:35:07 7585

原创 ML—常见的特征选择方法

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/20在统计分析中，由于事先并不知道什么特征与这个模式相关，而特征对能否正确分类又起到至关重要的作用，因此特征选择是统计学习中必不可少的一步。目前常用的特征选择方案有如下几种：一、F值(方差分析) 适用范围：特征取值连续，有监督方差分析能够作为特征选择的思路是：对于单个特征来说假设这个特征与类别标签是无关的，因此这个特征

2015-11-20 11:18:21 4239 1

原创使用matlab执行mex找不到编译器

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/19很多matlab工具包由于考虑到系统稳定性在安装过后都要执行mex命令。下面讲讲我的解决过程。我电脑系统为64位，安装visual studio 2013b和matlab2013b.在matlab命令行输入mex -setup命令后并没有找到合适的编译器，因为matlab2013b不支持visual studio 2

2015-11-19 23:02:17 2935

原创函数调用和赋值运算

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/15一、C++中内存分配 C++编译器将计算机内存分为代码区和数据区。数据区又分为静态数据区、动态数据区。动态数据区又包含堆和栈。代码区：只读，任何修改行为非法。存放编译后的代码，包括类的成员函数等。数据区：存放程序编译和执行过程出现的变量和常量。静态数据区：全局变量以及静态变量存放在静态数据区。动态数据区

2015-11-15 13:57:37 1151

原创 ML—核技巧

华电北风吹天津大学认知计算与应用重点实验室日期：2015/11/13什么是核? xi,xj∈RNx_i,x_j \in R^N，模型中遇到的关于xi,xjx_i,x_j的计算全部是<xi,xj><x_i,x_j>，若在N维中得不到想要的效果，就可以利用核函数，将原本是N维的内积运算映射到高维空间，甚至是无限维。 K(xi,xj)=<ϕ(xi),ϕ(xj)>(0)K(x_i,x_j)

2015-11-13 18:38:13 1933

原创 C++—特殊成员函数

华电北风吹天津大学认知计算与应用重点实验室最后修改日期 2015/11/10先看一个有问题的类定义：#include <iostream>class StringBad{private: char* str; int len; static int strcount;public: StringBad(); StringBad(const

2015-11-10 20:30:35 1103

原创 [CO] 无约束极值问题的解法

华电北风吹最后修改日期 2015/11/7无约束极值问题可以表述为 minf(X),X∈Rnmin f(X), X \in R^n 对于这类问题的求解一般要用到迭代法。迭代法可分为两大类。一类是要用到函数一阶导数或二阶导数的解析法；另一类是迭代过程中只用到函数值的直接法。常见的解析法有梯度下降法，共轭梯度法，变尺度法。常见的直接法有步长加速法。一、梯度

2015-11-07 20:57:34 2568

原创最优化方法—一维搜索

华电北风吹天津大学认知科学与计算重点实验室日期 2015/11/7本文主要从试探法、插值法、微积分中的求根法讲解怎么求解一维函数极值问题。一、试探法 1、斐波那契法(分数法) 适用条件：存在极值点的一维凸函数，或者在指定求解区间上的凸函数，本文举例以标准凸函数为例(下凸)。 y=f(t)y=f(t) 是区间[a,b]上的凸函数，在此区间内存在极小值点t′t'。若在区间内任意取两

2015-11-07 20:32:17 5624 1

原创 ML—广义线性模型导论

Andrew Zhang Tianjin Key Laboratory of Cognitive Computing and Application Tianjin University Nov 3, 2015本文主要讲解我对GLM的理解，并将GLM推广到逻辑回归，线性回归和Softmax回归理论中。一、指数分布族(ExponentialFamily) 如果一个分布密度函数可以写成如下的形式

2015-11-04 12:36:32 16381