Y_hero的博客

1.简述遗传算法 元启发式算法（Meta-heuristic algorithms)模拟进化过程，通过选择(Selection)、交叉(Crossover)以及变异(Mutation)等机制，在每次迭代中都保留一组候选个体，重复此过程，种群经过若干代进化后，理想情况下其适应度达到***近似最优***的状态。参考链接:https://www.zhihu.com/question/23293449/answer/1202209742.核心概念将自变量空间编码成染色体,对应的实例称为个体,开始类似于随

PCA原理剖析矩阵的秩 特征向量 特征值是什么？此篇博客主要分析PCA有什么劣势以及产生的原因，对PCA还不清楚的可以结合上面两个博客从多角度深入了解PCA。劣势一，在对数据完全无知的情况下，PCA变换并不能得到较好的保留数据信息。因为PCA需要对数据进行预处理，第一步需要对其进行中心化，如果数据的尺度不统一，还需要标准化。通常的标准化方式是除以标准差。这里可能就出出现一个问题，比如标准差...

高斯径向基函数(RBF)神经网络牛顿插值法-知乎泰勒公式径向基函数-wiki径向基网络之bp训练RBF网络逼近能力及其算法线性/非线性，使用”多项式“逼近非线性，通过调节超参数来改善多项式参数进一步拟合真实非线性。径向基函数说径向基网络之前，先聊下径向基函数径向基函数（英语：radial basis function，缩写为RBF）是一个取值仅依赖于到原点距离的实值函数，即 ϕ(x...

二者都是在PCA和LDA的基础上加入了核函数，从线性变化到非线性变化，因此建议先搞懂什么是PCA、LDA和核函数。KPCA我们先来看一个实际问题，图b是样本在二维空间中的分布，称为本真二维结构，然后以S形曲面嵌入到三维空间中，形成图a的空间结构，如果使用线性降维的方法，会丢失低维结构，得到一个图c这样的二维空间结构。面对上述问题，我们就不能采用传统的线性降维方法了，这时候就要使用我们的核主...

1. LIBSVM 下载libsvm It makes everything automatic–from data scaling to parameter selection.libsvm下载安装后使用libsvm训练模型，出现 gnuplot executable not found此时需要安装gnuplot下载地址安装完成后，更改**gnuplot_exe =**的路径为你gnu...

1.决策树1.1基本流程决策树(decsioin tree)是一种常见的机器学习方法，例如西瓜书中的二分类任务，判断瓜的好坏。决策树如下:可以看到此使判断西瓜是否好坏，则通过色泽，根蒂，敲声等一些列属性来得出结果。 一般的，一颗决策树包括一个根节点，若干个内部接待你和若干个叶结点；叶节点对应于决策结果，其他结点则对应一个属性测试；从根节点大到每个叶结点的路径对应了一个判定测试序列。决策树...

近来看到贝叶斯分类器，其中有一个知识点提及产生式模型和判别式模型，查阅了一番资料终于理解透彻了，特此记录。产生式模型和判别式模型区分二者是分类器中常遇到的概念，产生式模型估计它们的联合概率分布P(x,y)，判别式模型估计条件概率分布P(y|x)。判别式模型常见的主要有：Logistic RegressionSVMTraditional Neural NetworksNearest N...

1.算法概述 目前，对于文本分类的研究已经取得了巨大的进展，常用的文本分类算法有最近邻算法(KNN)，支持向量机，人工神经网络，boosting，随机森林等。而KNN算法既是最简单的机器学习算法之一，也是基于实例的学习方法中最基本的，又是最好的文本分类算法之一。基于实例的学习方法：1.只是简单地把训练样例存储起来。等到输入一个新的查询实例时，才分析这个新实例和之前存储的实例之间的关系。**该...

近来看到SVM和核化线性降维KPCA，对其中的核函数难以理解，因此去查阅了众多资料，接下来简单记录总结下对kernel的认识。知乎问题链接参考kernel是什么 ？  首先我们先给出kernel的定义：核函数(kernel function)就是指K(x,y)=<f(x),f(y)>，其中x和y是n维的输入值，f()指的是n维到m维的映射(通常m>>n)，<x...