特征缩放、交叉验证法、过拟合、正则化

特征缩放

       可以看到上面的例子，当数据不一致时，即类型和单位不一致时，会造成画的图像取的单元格大小相差很大，使用梯度下降法寻找全局最小值时的效果就不尽人意，所以为了解决这个问题，最好对数据进行处理，即进行数据的特征缩放，特征缩放有2种方式：数据归一化（可以把数据处理到0-1或者-1到1之间）、均值标准化（一般处理后的数据范围接近-0.5到+0.5）

       最后结果如下：

交叉验证法

       交叉验证法是一种测试的方法。一般情况下处理数据集时，会把数据集切分为训练集和测试集（验证集可有可无）。但是有时候数据集比较小，切分就不够，此时就可以使用交叉验证法（把数据平均分为n份。取m份为测试集，其余n-m份为训练集，则会得到误差n*(n-1)…(n-m)/m!个误差，最后取所有误差的平均值）。交叉验证集的原理见下方：

过拟合(Overfitting)

       过拟合一般会出现训练时拟合效果好，但是测试时效果不好。防止过拟合的方法有：减少特征、增加数据量、正则化（Regularized）

正则化(Regularized)

       可以看到正则化后的代价函数在最后多了一个正则项，label为正则化系数，L1正则化则是正则化项取绝对值，L2正则化是正则化项取平方。label取值越大，表示正则化项越重要，当label=0时，则没有正则项。