第五周周报
首先我尝试了课堂上讲述的一些方法,调用相关函数,显示了训练过程中,各属性的重要性。
在上一周,我做的主要还是数据预处理的工作
- 首先,我采用了分箱法,对原数据中一些连续数据进行了处理,分箱法将连续数据离散化,有助于模型的稳定性,降低了程序过拟合的风险,在当前的实验中,我才用了等频分箱的方法。
- 另外,我对于原数据,也进行了压缩处理,主要是对于数值型数据,对于整形数据,判断该属性其最大值与最小值所处的区间范围(8,16,32,64位整数)的范围之内,并将其转换为相符合的类型整数。
通过以上的操作,虽然测试集的成绩,并没有显著提升,但是,大大减少了硬件负担以及提高了训练的效率。
另外,在上一周中,我还学习了一些评估模型的方式,用于训练模型并评价其学习能力。
- 交叉验证法
- 留出法 ,将原数据集划分为训练集与测试集,划分的时候要保证数据分布的一致性。
目前,我感觉由于缺乏经验,我在数据处理方面,很难在成绩方面有更为有效的提升,我的数据处理的结果,大部分是提高了训练速度,因此,目前,我也学习了贝叶斯调参的方法,希望通过参数的优化,能够进一步地提升训练的成绩,相关工作与成果将在下一周的周报中展示。