Chapter 3-exercise

1.KNN分类和KNN回归的区别。

首先，KNN分类解决的是分类问题，而KNN回归解决的是回归问题；
当响应变量是连续的，根据输入和回归函数，预测输出；
当响应变量是带有一定水平的因子型变量，就可以用来将输入变量进行分类。

其次，从它们的作用可以看出，它们的作用不同，原理当然也不一样。
KNN分类把单个变量作为输入，根据相邻k个元素的最大类别进行分类；而KNN回归输入一个预测点$x_0$，确定k个最接近$x_0$的训练观测，然后用这k个对应的训练观测的响应值的均值作为预测输出。

注:

• 线性回归与KNN回归的比较
  当真实的关系是线性的，或近似线性的，线性回归比K值较小的KNN回归的均方误差(MSE)要小，KNN略逊与线性回归，但在非线性情况下，KNN大大优于线性回归。

  当预测变量的维数增大，KNN就要面临维数灾难，因为高纬中样本大大减小，所以当每个预测变量仅有少量观测时，参数化方法（线性回归）往往优于非参数方法（KNN回归）。

  从可解释的角度来看，线性回归比较符合要求。

• 参数方法与非参数方法的比较：
  参数方法是一种基于两阶段的方法，把估计函数关系$f(X)$的问题简化到估计一组参数。
  缺点是：选定的模型并非与真实的模型在形式上是一致的。

  非参数方法：不需要对函数的形式事先作出明确的假设。这类方法追求的是接近数据点的估计，估计函数在去粗和光滑处理后尽可能与更多地数据点接近。
  缺点是：无法将估计f的问题简化到仅仅对少数参数进行估计的问题，为了获得对f更为精确的估计，往往需要大量的观测点。