核函数和激活函数和异常检测和聚类（outlier detection）

特征工程 Feature Engineering（一）
PimaIndiansdiabetes-数据预处理实验（一）
聚类总结（一）K-means、层次、DBSCAN、均值漂移、K-Means 与 KNN
聚类总结（二）聚类性能评估、肘部法则、轮廓系数
网格搜索 GridSearchCV\训练集、验证集和测试集

一、核函数

  有人说核函数与内积是等价的，我赞同这一观点。当我们将低维空间的数据映射到高维空间的时候，我们甚至不需要知道映射函数是什么，就算知道了又能怎么样，它只会给我们带来计算的复杂度。我们需要的是这种类型的核函数可以在低维空间中用怎样的形式表现出来，因为低维空间的表达式才是容易计算的。可以说，内积是核函数实现的一种技巧。没有内积，就没有核函数；没有核函数，也就体现不出内积的价值。

1.1 Linear核函数

  要用于线性可分的情形。参数少，速度快，对于一般数据，分类效果已经很理想了。线性核，主要用于线性可分的情况，我们可以看到特征空间到输入空间的维度是一样的，其参数少速度快，对于线性可分数据，其分类效果很理想，因此我们通常首先尝试用线性核函数来做分类，看看效果如何，如果不行再换别的

1.2 RBF高斯核函数

  主要用于线性不可分的情形。参数多，分类结果非常依赖于参数。有很多人是通过训练数据的交叉验证来寻找合适的参数，不过这个过程比较耗时。我个人的体会是：使用libsvm，默认参数，RBF核比Linear核效果稍差。通过进行大量参数的尝试，一般能找到比linear核更好的效果。至于到底该采用哪种核，要根据具体问题，有的数据是线性可分的，有的不可分，需要多尝试不同核不同参数。如果特征的提取的好，包含的信息量足够大，很多问题都是线性可分的。当然，如果有足够的时间去寻找RBF核参数，应该能达到更好的效果。

  RBF kernel可以处理非线性的情况，linear kernel可以是RBF kernel的特殊情况；高斯径向基函数是一种局部性强的核函数，其可以将一个样本映射到一个更高维的空间内，该核函数是应用最广的一个，无论大样本还是小样本都有比较好的性能，而且其相对于多项式核函数参数要少，因此大多数情况下在不知道用什么核函数的时候，优先使用高斯核函数。

1.3 sigmoid核函数

  采用sigmoid核函数，支持向量机实现的就是一种多层神经网络。

1.4 多项式核函数

  polynomial kernel的参数比RBF多，而参数越多模型越复杂；多项式核函数可以实现将低维的输入空间映射到高纬的特征空间，但是多项式核函数的参数多，当多项式的阶数比较高的时候，核矩阵的元素值将趋于无穷大或者无穷小，计算复杂度会大到无法计算。

1.5 选择核函数的方法

  

• 如果特征的数量大到和样本数量差不多，则选用LR或者线性核的SVM；
• 如果特征的数量小，样本的数量正常，则选用SVM+高斯核函数；
• 如果特征的数量小，而样本的数量很大，则需要手工添加一些特征从而变成第一种情况。
• RBF kernel更方便计算，取值在[0,1]；而用polynomial kernel取值范围是(0,inf)，在自由度高的情况下更凸显出劣势；至于sigmoid，它可能在某些参数下是无效的
• RBF核函数可以将一个样本映射到一个更高维的空间，而且线性核函数是RBF的一个特例，也就是说如果考虑使用RBF，那么就没有必要考虑线性核函数了。
• 与多项式核函数相比，RBF需要确定的参数要少，核函数参数的多少直接影响函数的复杂程度。另外，当多项式的阶数比较高时，核矩阵的元素值将趋于无穷大或无穷小，而RBF则在上，会减少数值的计算困难。
• 对于某些参数，RBF和sigmoid具有相似的性能。

1.6 核函数对应的参数

1）对于线性核函数，没有专门需要设置的参数 
2）对于多项式核函数，有三个参数。-d用来设置多项式核函数的最高此项次数，也就是公式中的d，默认值是3。-g用来设置核函数中的gamma参数设置，也就是公式中的第一个r(gamma)，默认值是1/k（k是类别数）。-r用来设置核函数中的coef0，也就是公式中的第二个r，默认值是