qq_27245709的博客

以下是几种常用的核函数表示：线性核（Linear Kernel）多项式核（Polynomial Kernel）径向基核函数（Radial Basis Function）也叫高斯核（Gaussian Kernel），因为可以看成如下核函数的领一个种形式：径向基函数是指取值仅仅依赖于特定点距离的实值函数，也就是。任意一个满足特性的函数 Φ都叫做径向量函数，标准的一般使用欧氏距离，尽管其他距离函数也是可以的。所以另外两个比较常用的核函数，幂指数核，拉普拉斯核也属于径向基核.

转自：https://zhuanlan.zhihu.com/p/34656727?spm=5176.9876270.0.0.399ce44aXsg7cN 谢谢作者很久没有更文章了，主要是没有找到zero-shot learning(ZSL)方面我特别想要分享的文章，且中间有一段时间在考虑要不要继续做这个题目，再加上我懒 (￢_￢)，所以一直拖到了现在。最近科研没什么进展，就想着写一个ZSL的入门性的文章，目的是为了帮助完全没有接触过这方面，并有些兴趣的同学，能在较短的时间对ZSL有一定的认识，并且.

深度神经网路已经在语音识别，图像识别等领域取得前所未有的成功。本人在多年之前也曾接触过神经网络。本系列文章主要记录自己对深度神经网络的一些学习心得。简要描述深度神经网络模型。1.  自联想神经网络与深度网络      自联想神经网络是很古老的神经网络模型，简单的说，它就是三层BP网络，只不过它的输出等于输入。很多时候我们并不要求输出精

转载自http://blog.csdn.net/lulei1217/article/details/49583287。仅用作个人学习。这几天一直在看随机森林。可以说遇到任何一个有关预测的问题。都可以首先随机森林来进行预测，同时得到的结果也不会太差。在这篇文章里我首先会向大家推荐几篇写的比较好的博客。接着会将我觉得比较好的例子使用python+scikit－learn包来实现出来。

转载，http://blog.csdn.net/gamer_gyt目录(?)[+]======================================================================本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正 转载请注明出处，谢谢  

转载自http://www.ilovematlab.cn/thread-19228-1-1.html，仅用作个人学习。感应器神经网络、线性网络、BP神经网络、径向基函数网络%通用感应器神经网络。P=[-0.5 -0.5 0.3 -0.1 -40;-0.5 0.5 -0.5 1 50];%输入向量T=[1 1 0 0 1];%期望输出plotpv(P,T);%描绘

本文主要内容包括： (1) 介绍神经网络基本原理，(2) AForge.NET实现前向神经网络的方法，(3) Matlab实现前向神经网络的方法 。第0节、引例        本文以Fisher的Iris数据集作为神经网络程序的测试数据集。Iris数据集可以在http://en.wikipedia.org/wiki/Iris_flower_data_set  找到。

协方差矩阵和散布矩阵（散度矩阵）的意义    【尊重原创，转载请注明出处】http://blog.csdn.net/guyuealian/article/details/69113407      在机器学习模式识别相关算法中，经常需要求样本的协方差矩阵C和散布矩阵S。如在PCA主成分分析中，就需要计算样本的散度矩阵，而有的教材资料是计算协方差矩阵。实质上协方差矩阵和散度矩

图像检索：再叙ANN Search时间 2017-04-08 23:54:45  Yong Yuan's blog原文  http://yongyuan.name/blog/ann-search.html主题 聚类分析 向量每逢碰到这个ANN的简称，小白菜总是想到Artificial Neural Network人工神经网络，不过这里要展开的ANN并不是Ar

转载自http://blog.csdn.net/xmu_jupiter/article/details/47400411，仅用作个人学习。在很多机器学习算法中，都会遇到最优化问题。因为我们机器学习算法，就是要在模型空间中找到这样一个模型，使得这个模型在一定范围内具有最优的性能表现。因此，机器学习离不开最优化。然而，对于很多问题，我们并不总能够找到这个最优，很多时候我们都是尽力去找到近似

遗传算法 ( GA , Genetic Algorithm ) ，也称进化算法 。 遗传算法是受达尔文的进化论的启发，借鉴生物进化过程而提出的一种启发式搜索算法。因此在介绍遗传算法前有必要简单的介绍生物进化知识。  一.进化论知识 　　作为遗传算法生物背景的介绍，下面内容了解即可：　　种群(Population)：生物的进化以群体的形式进行，这样的一个群体称

转载自http://www.cnblogs.com/siegfang/p/3424003.html，仅用作个人学习。　在统计学习中，转导推理（Transductive Inference）是一种通过观察特定的训练样本，进而预测特定的测试样本的方法。另一方面，归纳推理（Induction Inference）先从训练样本中学习得到通过的规则，再利用规则判断测试样本。然而有些转导推理的预测无法由归

常用的图像特征有颜色特征、纹理特征、形状特征、空间关系特征。一 颜色特征（一）特点：颜色特征是一种全局特征,描述了图像或图像区域所对应的景物的表面性质。一般颜色特征是基于像素点的特征，此时所有属于图像或图像区域的像素都有各自的贡献。由于颜色对图像或图像区域的方向、大小等变化不敏感，所以颜色特征不能很好地捕捉图像中对象的局部特征。（二）常用的特征提取与匹配方法颜色直方图其优点在于

转载自http://lanbing510.info/2014/10/22/Feature-Extraction-Selection.html，仅用作个人学习。特征提取和特征选择都是从原始特征中找出最有效（同类样本的不变性、不同样本的鉴别性、对噪声的鲁棒性）的特征。区别与联系特征提取：将原始特征转换为一组具有明显物理意义（Gabor、几何特征[角点、不变量]、纹理[LBP H

版权声明：    本文由LeftNotEasy发布于http://leftnoteasy.cnblogs.com, 本文可以被全部的转载或者部分使用，但请注明出处，如果有问题，请联系wheeleast@gmail.com前言：    上一次写了关于PCA与LDA的文章，PCA的实现一般有两种，一种是用特征值分解去实现的，一种是用奇异值分解去实现的。在上篇文章中便是基于特征值

版权声明：目录(?)[+]======================================================================本系列博客主要参考 Scikit-Learn 官方网站上的每一个算法进行，并进行部分翻译，如有错误，请大家指正 转载请注明出处，谢谢  ===============

转载自http://www.cnblogs.com/hemiy/p/6268123.html，仅用作个人学习。目录1、连续和离散型特征的树的构建 2、CART回归树2.1 构建树2.2 剪枝3、模型树4、实例：树回归与标准回归的比较 正文---------------------------------------------------

回归(regression)、梯度下降(gradient descent)发表于332 天前 ⁄ 技术, 科研 ⁄ 评论数 3 ⁄ 被围观 1152 次+本文由LeftNotEasy所有，发布于http://leftnoteasy.cnblogs.com。如果转载，请注明出处，在未经作者同意下将本文用于商业用途，将追究其法律责任。前言:上次写过一篇关于贝叶斯概率论的数学

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。本文链接：https://blog.csdn.net/lipengcn/article/details/80373744Ranking 是信息检索领域的基本问题，也是搜索引擎背后的重要组成模块。本文将对结合机器学习的 ranking 技术——learning2rank——做个系统整理，包括 ...

t-SNE – Laurens van der Maaten（感谢学术男神们的无私开源）User_guide.pdf（用户指南）1. tsne 函数mappedX = tsne(X, labels, no_dims, init_dims, perplexity)最新的matlab（实测的是2017b） 已经集成了 tsnetsne 是无监督降维技术，labels 选项可选；X是由N 个...

目录1.LU分解2. LDLT分解法3. Cholesky分解的形式4. QR分解5.SVD分解5.1 SVD与广义逆矩阵6. Jordan 分解参考文章： ...

转载自多篇博客，仅用作个人学习，如需删除，请见谅并联系本人。BNNBengio大神的著作《Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 or −1》：链接：https://arxiv.org/abs/1602.02830参考代码：h...

摘要：这种使用浮点计算的神经网络要求的大存储空间和大计算量，严重阻碍了其在手机、手表和移动机器人等设备上的应用。二值神经网络设法让计算主要在正1或负1间进行，几十倍地降低了网络大小和计算量，但一直以来难以达到高预测准确率。最新的进展大幅提高了二值神经网络的预测准确率并接近实用水...作者：周舒畅——旷视科技(Face++)研究员笔者按：赢得围棋人机大战的AlphaGo为了运行神经...

转载自https://blog.csdn.net/meng4411yu/article/details/8851187，仅用作个人学习，如需删除请见谅并联系本人。robustfitRobust regression（稳健回归）语法b=robustfit(X,y)b=robustfit(X,y,wfun,tune)b=robustfit(X,y,wfun,tune,const)[b...

转载自： https://blog.csdn.net/lanchunhui/article/details/50422230，仅用作个人学习。如需删除，请见谅并联系本人。考虑这样一些数据：x = np.array([0, 3, 9, 14, 15, 19, 20, 21, 30, 35, 40, 41, 42, 43, 54, 56, 67, 69, 72, 88]...

[本文链接：http://blog.csdn.net/shanglianlm/article/details/45919679，转载请注明出处]对偶上升法(Dual Ascent) 和 对偶分解法(Dual Decomposition) 在介绍ADMM之前我们首先介绍两种优化算法：对偶上升法(Dual Ascent) 和 对偶分解法(Dual Decomposition)。 1.1 对偶上升法(D...

转载自http://jikaichen.com/2016/05/31/notes-on-sdh/，（慎入，这个链接好像是不行了哎）仅用作个人学习，如需删除，请联系本人。原论文提出了一种解离散哈希问题的最优化方法，推出其闭式解。笔者在阅读该论文的过程中，理解公式推导的过程中遇到了一些问题，现在将论文公式推导的详细内容记录于此。原论文链接来自这里http://arxiv.org/pdf/15...

转载自http://blog.csdn.net/zouxy09/article/details/24971995/，仅用作个人学习。机器学习中的范数规则化之（一）L0、L1与L2范数zouxy09@qq.comhttp://blog.csdn.net/zouxy09        今天我们聊聊机器学习中出现的非常频繁的问题：过拟合与规则化。我们先简单的来理解下常

作者：火星十一郎出处：http://www.cnblogs.com/hxsyl/本文版权归作者火星十一郎所有，欢迎转载和商用，但未经作者同意必须保留此段声明，且在文章页面明显位置给出原文连接，否则保留追究法律责任的权利.、第一种理解　　　　相对熵（relative entropy）又称为KL散度（Kullback–Leibler di

本文转载自http://blog.csdn.net/wangxiaojun911/article/details/50501390，仅用作个人学习。二次型（Quadratic Form）

转载自http://blog.csdn.net/whiteinblue/article/details/36171233，仅用作个人学习。之前在看斯坦福教程中whiteining这一章时，由于原始图像相邻像素值具有高度相关性，所以图像数据信息冗余，对于白化的作用的描述主要有两个方面：1，减少特征之间的相关性；2，特征具有相同的方差（协方差阵为1）；但是为什么这么做，以及这样做对于算法或者数

之前的博客介绍过自己对于正则化的理解，经过这段时间的进一步接触，尤其是看了一些关于这一方面的paper，做了一些简短的实验，发现正则化真是一个很给力的建模方法。近期，看到了Laplacian Smoothing，相信很多童鞋遇到过这两个单词，但是，论文中关于这点的介绍往往都很“随意”，甚至出现了很多雷同，这里谈谈我对“拉普拉斯平滑”的一些理解。首先，说说为什么要“平滑”，换句话

转载自http://www.cnblogs.com/berkeleysong/articles/3765247.html，仅用作学习。正则化（Regularization）、归一化（也有称为正规化/标准化，Normalization）是对数据尽心预处理的方式，他们的目的都是为了让数据更便于我们的计算或获得更加泛化的结果，但并不改变问题的本质，下面对他们的作用分别做一下科普，如有不正确之处，求指

本文属转载，仅用作学习。原文地址：一只鸟的天空，http://blog.csdn.net/heyongluoyao8/article/details/49429629防止过拟合的处理方法过拟合  我们都知道，在进行数据挖掘或者机器学习模型建立的时候，因为在统计学习中，假设数据满足独立同分布（i.i.d，independently and identically

本文转载自 瑟荻 http://blog.csdn.net/neal1991/article/details/46571999 ，仅用作学习。PCA算法算法步骤： 假设有m条n维数据。 1. 将原始数据按列组成n行m列矩阵X 2. 将X的每一行（代表一个属性字段）进行零均值化，即减去这一行的均值 3. 求出协方差矩阵C=1/mXXT 4. 求出协方差矩阵

转载自http://www.cnblogs.com/xfzhang/archive/2013/05/24/3096412.html，仅用作学习。在有监督(supervise)的机器学习中，数据集常被分成2~3个，即：训练集(train set) 验证集(validation set) 测试集(test set)。http://blog.sina.com.cn/s/blog_4d2f

转载自 http://www.cnblogs.com/tornadomeet/archive/2013/04/03/2998286.html，仅用作学习。　这又是Ng团队的一篇有趣的paper。Ng团队在上篇博客文章Deep learning：二十(无监督特征学习中关于单层网络的分析)中给出的结论是：网络中隐含节点的个数，convolution尺寸和移动步伐等参数比网络的层次比网络参数

转载仅用作学习。欢迎转载，转载请注明：本文出自Bin的专栏blog.csdn.net/xbinworld。 技术交流QQ群：433250724，欢迎对算法、技术感兴趣的同学加入。神经网络，或者深度学习算法的参数初始化是一个很重要的方面，传统的初始化方法从高斯分布中随机初始化参数。甚至直接全初始化为1或者0。这样的方法暴力直接，但是往往效果一般。本篇文章的叙述来源于一个国外的讨论

本文装载自  大愚若智_ http://blog.csdn.net/zbc1090549839/article/details/44103801  仅用作学习。机器学习、数据挖掘工作中，数据前期准备、数据预处理过程、特征提取等几个步骤几乎要花费数据工程师一半的工作时间。同时，数据预处理的效果也直接影响了后续模型能否有效的工作。然而，目前的大部分学术研究主要集中在模型的构建、优化等方面，对数

流形（manifold）的概念最早是在1854年由 Riemann 提出的(德文Mannigfaltigkeit)，现代使用的流形定义则是由 Hermann Weyl 在1913年给出的。江泽涵先生对这个名词的翻译出自文天祥《正气歌》“天地有正气，杂然赋流形”，日本人则将之译为“多样体”，二者孰雅孰鄙，高下立判。流形（Manifold），一般可以认为是局部具有欧氏空间性质的空间。而实际