Doris_v1.2.1测试TPC-H的lineitem与orders表导入数据报错解决

解决方案:需要将此2张表的列字段顺序进行调换
首先自己创建一个deal_data.rb文件,将下面的代码直接复制粘贴,注意修改相关的路径目录:

lineitem_str = "$11,$1,$4,$2,$3,$5,$6,$7,$8,$9,$10,$12,$13,$14,$15,$16"
orders_str = "$1,$5,$2,$3,$4,$6,$7,$8,$9"

# "awk -F'|' -v OFS='|' '{print #{str}}' test.csv"

prod_mode = ARGV[0] == "prod"

out_dir = "/home/hdfs/test/"      #【修改】存放数据的目录

%x(mkdir #{out_dir}/lineitem) unless Dir.exist?("#{out_dir}/lineitem")  
%x(mkdir #{out_dir}/orders) unless Dir.exist?("#{out_dir}/orders")

lineitem_files = Dir["lineitem/lineitem_tbl*"]    #【修改】存放要修改的文件目录
orders_files = Dir["orders/orders_tbl*"]          #【修改】存放要修改的文件目录

total_count = lineitem_files.size + orders_files.size 
cur_count = 0

lineitem_files.each do |filepath|
    # lineitem/lineitem_tbl25
    file = filepath.match(/\w+\/(\w+)/)[1]
    cmd = "awk -F'|' -v OFS='|' '{print #{lineitem_str}}' #{filepath} > #{out_dir}/lineitem/#{file}"
    if prod_mode
        %x(#{cmd})
    else 
        puts cmd 
    end 
    cur_count += 1
    puts "#{cur_count}/#{total_count} finished"
end 

orders_files.each do |filepath|
    # orders/orders_tbl00
    file = filepath.match(/\w+\/(\w+)/)[1]
    cmd = "awk -F'|' -v OFS='|' '{print #{orders_str}}' #{filepath} > #{out_dir}/orders/#{file}"
    if prod_mode
        %x(#{cmd})
    else 
        puts cmd 
    end 
    cur_count += 1
    puts "#{cur_count}/#{total_count} finished"
end 
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值