先随机化数据对分类效果的影响

首先,用了python自带的shuffle函数对原始样本进行随机化,发现两个缺点,1 效率不高,计算速度较慢 。2 对分类结果提高不大,有可能还降低准确度。所以考虑另外一种随机方法对样本进行有效的随机排序。


在参考了excel的rand()函数排序方法之后,在Python上为每一条样本产生一个随机数,然后在根据此随机数对整个样本集进行降序或升序排序,这样的操作之后,分类准确度确实提高了不少,再次验证了样本集要随机化这一原则。


具体的参考代码如下:

#首先是随机数组产生器
rand = np.random.rand(array.size)

#然后是为每条样本添加一个随机数,也就是添加一个随机属性列,用到的是AddLabels函数  例如:AddLabels(outputfilename,rand.T,'rand')
def AddLabels(inputfile,labelArray,labelName):
    csv_input = pd.read_csv(inputfile,error_bad_lines=False, skip_blank_lines=True ) 
    try:
        csv_input[labelName] = labelArray
    except Exception ,e:
        print Exception,":" ,e
    finally:
        csv_input.to_csv(inputfile, index = False, index_label = labelName, mode = 'wb+')

#然后是根据随机数对样本进行排序,其中csv_input是一个DataFrame
csv_input.sort_values(by='rand',axis = 0,inplace = True )


  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值