零散笔记

1. knn（k近邻）

K值得选取，就是选择距离某个点距离最近的k个点，利用投票的策略，进行类别的归属。多数表决规则，等价于经验风险最小化。属于监督学习，因为除了未被分类的点，别的点都是带有标签的。如果k值选取的太小，容易过拟合；k值太大，容易欠拟合。想要选取合适的k值，那么需要使用交叉验证选取最佳的k值。

1. 矩阵的乘以，可以理解为是矩阵的空间向量的变化。
2. 矩阵的行列式是为了表示，压缩或者扩张的面积比例。如果2维空间的行列式为0，说明把它压缩到一条直线或者一个点上面了，此时任何区域的面积都变为了0。如果是3维的，行列式为0的话，那么他被压缩为了一个面或者一条线或者一个点。感觉应该就是降维。
3. 秩代表变换后空间的维度。
4. Softmax函数其实就是交叉熵的一个特例。
5. 验证集是为了调参，是完全可以知道他的标签的。测试是为了最终的测试，测试集的标签一般是不会公开的（在比赛中）。