K-近邻

对于未知类别属性数据集中的点：

1. 计算一直类别数据集中的点与当前点的距离
2. 按照距离依次排序
3. 选取与当前点距离最校的K个点
4. 确定前K个点所在类别的出现频率
5. 返回前K个点出现频率最高的类别作为当前点预测分类

概述：
    KNN算法本身简单有效，它是一种lazy-learning算法。分类其不需要使用训练集进行训练，训练时间复杂度为0。
    KNN 分类的计算复杂度和训练集中的文档数目成正比，也就是说，如果训练集中文档总数为n，那么KNN的分类时间复杂度为O(n)。

== K值的选择，距离度量和分类决策规则是该算法的三个基本要素 ==

问题：该算法在分类时有一个不足，当样本不平衡时，如果一个类的样本容量很大，而其他类样本容量很小时，有可能导致当输入一个新样本时，该样本的K个邻居中大容量类的样本占多数。

解决：不同的样本给予不同权重项。

数据库实例：

CIFAR-10 10类标签、50000个训练数据、10000个测试数据、大小均为32*32
CIFAR-10官网链接（可下载数据集，但是下载极慢）

如何使用N-近邻算法去计算呢？

线性分类
SVM损失函数
梯度下降
学习率
反向传播
Sigmoid激活函数 会有梯度消失的现象
ReLU，解决梯度消失现象，并且就求导简单

神经网络使用多层隐层，每一层都使用激活函数，使得整个神经网络成为非线性。

https://cs.stanford.edu/people/karpathy/convnetjs/demo/classify2d.html