高级实训第三周周报

上周主要讲了数据与处理与特征工程的问题，由于上次对数据的预处理比较粗糙，只对缺失数据做了简单的填充，没有对特征做筛选或处理，本周开始主要根据上周讲的内容完善这一部分，并保持原训练模型不变，观察数据与处理带来的效果的提升。

首先一个之前没有考虑到的因素是噪声以及数据的尺度，这主要是针对部分数值类属性，我主要根据数值大小的分布，找到一个上、下阈值，将超出范围的数值设为等于阈值，以消除部分离群点，之后将属性normalize，避免某些属性取值普遍过大而对模型产生远超其他属性的影响。

上次周报中有提到除KNN外，其他模型的运行速度都非常缓慢，而上次课提到的数据规约的方法可以有效筛选掉一些意义不大的属性，合并一些冗余的属性，从而降低数据集维度，这种方法或可以一定程度上缓解速度慢的问题，同时提高模型性能。这一部分我还没有做完，会在下周的周报中具体解释整个数据与处理与特征工程方面的内容，并在训练模型不变的情况下与上周跑出的结果做对比。