目录
改进1.1:用StandardScaler替换MinMaxScale
问题描述:
本项目旨在利用包含 79 个解释变量的数据集,预测爱荷华州埃姆斯市住宅的最终价格。数据集提供了房屋的详细信息,如地理位置、面积、房间数量、建筑材料等。我们将通过数据预处理、特征工程、模型选择和训练、模型评估等步骤,构建一个准确的房价预测模型。
一、问题
问题1:数据输入
提问:在用Transformer进行预测的时候,怎么处理输入数据呢?
思考:理想方式是处理成什么样的数据呢?(1468*79*64)
方法1:把1468 * 79转化成str list,然后放入Word2Vec中,就可以变成1468*79*64型数据
方法2:把1468 * 79转化成整数数值,然后放入nn.Embedding中,就可以变成1468*79*64型数据
提升都不大
问题2:output和target维度不匹配
提问:输入数据维度是(32,79,64),最后Encoder输出的维度是(32,79,1),这很正常,但是Target的维度是(32,1),这个时候又该怎么调整这个输出以达到维度合适呢?
方法1:x.mean(dim = 1) 在79的那个维度上取平均值,然后就变成了(32,1)
方法2:flatten + linear 没办法提升
问题3:NLP中处理数据有哪些方法?
这是问题1的引申问题,garbage in garbage out原则
二、改进
改进1:改变归一化函数
改进1.1:用StandardScaler替换MinMaxScale
改进效果:有效果,由0.21提升到0.178
原因:在进入Transformer结构之前,数据进行标准化,StandardScaler比MinMaxScaler好,在训练集和测试集上,MinMaxScaler效果很好,但是实际效果很差。在inverse_transform的时候MinMaxScaler有很大的误差!
在Transformer或者Stacking上都有提升
改进1.2:数据正态化
改进效果:有效果,由0.178提升到0.174
原因:既然改进1有效果,那就在这个方向上继续改进,加入了下面这段代码,将数据正态化,原因是StandardScaler在正态分布上的效果更好。
scaler_norm_saleprice = PowerTransformer(method='yeo-johnson')
改进2:使用随机搜索的方法来找到最优参数
改进2.1:使用随机搜索的方法来寻找机器学习最优的参数
改进效果:没有很大改变
改进2.2:减小模型的规模,减少每次训练的数据量
改进效果:没有很大改变
因为数据量不够多,减小模型的规模,减少训练的数据量,来帮助收敛
改进3:模型方面改进和优化
改进3.1:将机器学习模型转换为Transformer模型
改进效果:有效果,0.17到0.14
原因:建模用的Transformer模型甚至只用了6层Encoder,数据也没处理,模型架构也很粗糙,参数也没有调整,效果就有很大提升
Transformer方面:
优化1:在处理好了数据之后,用nn.Embedding和标准的Position Embedding;
优化2:调整超参数;