linux shell常见问题

1.zcat 无法解析后面跟的含变量的多路径

问题描述:

zcat "${eval_root}${eval_path_list}/${eval_name_list}.gz" 无法执行,单独执行:zcat /home/search/data/xxx/data/original_data/{20170111,}/{part-00000,part-00001,part-00002,}.gz却可以。

解决方法:在前面加入关键字eval,zcat在shell脚本中无法对复杂格式进行解析,需要使用eval 才可以。注意,使用··是不可以的。

2.sort的时候提示write failed,设备上没有足够空间

问题描述:

paste filename1 filename2 | sort -k1,1 -rg是,提出空间不足,这里filename1和filename2较大

解决方法:在sort后加入参数-T path 来指定sort时的默认缓存,因为sort的默认缓存为/tmp,这个文件一般大小为1G左右,对于大文件排序来说很容易不够,所以我们指定一个较大空间的文件给sort用来当缓存。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值