**【求助】关于抽样和标准化的问题**

图片说明

抽样可划分 训练集 和 验证集,具体到某一个连续型的数值变量,通过还要经过标准化的过程,这里以0-1标准化为例,描述了三种抽样和标准化的做法思路。这里要指出,三种思路都有问题,因此想请教更好的做法,或者目前信贷建模领域通常的做法。

第1种,总体先抽样,再将训练集和验证集分别进行标准化,问题显而易见,由训练集得出的模型,会与验证集标准化后的数据标准不一致;

第2种,总体先抽样,将训练集标准化,并以标准化后的最大值最小值应用到验证集上,这应该是目前程序种的主流做法,但问题也显而易见,训练集和验证集毕竟是两个数据集,最大值和最小值是不一样的,因此会出现验证集标准化结果超出0-1范围的情况;

第3种,总体先进行标准化,然后在进行抽样,这样的好处是避免了第2种方式的问题,训练集和验证集,在一个标准化的条件下参与建模。但问题依旧,比如新来一批数据,完全有可能在旧总体之外,那么也会出现超出0-1范围的可能。

希望不吝赐教,谢谢

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值