机器学习问答

问：为什么要归一化？
答：1、归一化可以提高精度
因为比如在knn、kmeans等用到距离度量的算法中，如果某一个特征值的范围很大，那么这个特征会成为主导作用，假如这个特征实际当中不是最重要的因素，那么会降低精度
2、归一化可以提高梯度下降求最优解的速度
3、避免太大的数会引发数值问题
4、无量纲化，即将数据转化为没有单位的数据
5、将数据集归一化可以保证训练集和测试集具有相同的分布，提高了模型的泛化能力
问：归一化和标准化的区别？
答：归一化是将数据映射到(0,1)或(-1,1)区间，标准化是将数据的分布转化为标准正态分布
问：由哪几种常见的归一化？
答：离差标准化、z-score标准化、对数标准化
问：梯度下降法的直接迭代和正规方程的使用？
答：迭代法需要选取学习率，并且需要迭代很多次，当特征数很大时比较适合，正规方程不需要使用学习率，并且不需要迭代，不过需要计算（X_T X）的逆，这个复杂度近似达到了O(n^3)，当特征数n比较不大的时候适合，例如n在一万以下的时候，达到一万就要开始考虑是否用迭代法，并且正规方程一般只用于线性回归，如果正规方程碰到了（X_T X）时不可逆的情况，需要观察特征删除多余的特征和相关性特别强的特征或者正则化
问：当前向传播算法或者反向传播算法或者梯度下降算法计算时，怎样检查梯度是否求错？
答：可以进行梯度检验，方法是计算双侧差分，看双侧差分和梯度值是否近似，只差几位小数点。
问：神经网络学习的基本构建是怎样的?
答：第一步：对参数初始随机化，随机化的值一般是接近于零，
第二步：进行前向传播算法，求出最终的结果，
第三步：计算损失函数，
第四步：进行反向传播算法，得到损失函数对参数的导数，
第五步：进行梯度检查，
第六步：利用梯度随机下降算法或者其他高级优化算法，最小化损失函数。