R语言中建模技术

  基于观测值之间距离的方法，就是K近邻方法，它基于的假设是：同一类型的样本有类似的特征表达值。K近邻算法实际上没有从训练数据得到一个模型，只是存储了这个训练集数据，在给定测试样本时，在存储的训练集中寻找类似的样本作为预测值，选择K个最为相似的训练集样本用来给定测试样本的预测值。因为预测值是采用投票的方法决定的，所以K的选值最好是奇数。

   太稀疏的数据选择的K值不要过大。R包class中有实现knn的函数。                 

  随机森林是组合模型的一个典型应用，每棵树都是通过自助法抽样进行训练的，从原始数据集中有放回的随机抽取N个样本，用特征的一个随机子集决定树的节点，没有剪枝操作。

  支持向量机的基本思想是，将原始数据映射到一个新的高维空间，在这个高维空间中，有可能应用线性模型获得一个超平面来进行分离。也是调用e1071包中的svm函数。除了gamma和cost以外，大部分参数都使用默认值，gamma是在核函数中使用的。设置为0.001，cost表示违反边际所引入的损失，根据数据不同变化。