一.在Linux中for和cat遍历文件内容出现no space

以前使用for var in file方式逐行读取文件内容的时候,都没有出现问题,但是今天使用如下代码,会出现“no space” ,目标数据文件内容为6.8M,

# 写入临时文件,第一行不能写入
fillTempFile(){
  # 先删除临时文件,再创建
  rm -rf $fullTempFileName
  touch $fullTempFileName
  i=0
  for line in $(cat $targetFilePath$1)
  do    
      # 去掉第一行数据
      if [ $i -gt 0 ]
      then
          # 解析从第4位开始的数据,即为当前备注的数据行数
          echo $line >> $fullTempFileName
      fi
      # 遍历完一行之后,行号加1
      let i+=1
  done
}

造成这个问题的原因是:我使用的是AIX系统(/bin/ksh  ksh88的栈系统很低效)。当使用for i in $targetFile的时候,系统会读取整个文件到栈系统中,造成当前系统内存溢出。

但是另外一个AIX系统的另外一个版本ksh93使用的是另外一种很高效的库,也就不会发生这个问题。其他一些shell,比如bash,在处理大数据量文件的时候更加高效。

但是ksh88是AIX系统的默认版本,系统工具、SMIT等都是使用ksh88。

解决这个问题的办法是避免使用冗余的方式,而是逐步加载,如下:

# 写入临时文件,第一行不能写入
fillTempFile(){
  # 先删除临时文件,再创建
  rm -rf $fullTempFileName
  touch $fullTempFileName
  i=0
  cat $targetFilePath$1 | while read line
  do    
      # 去掉第一行数据
      if [ $i -gt 0 ]
      then
          # 解析从第4位开始的数据,即为当前备注的数据行数
          echo "{$line}" >> $fullTempFileName
      fi
      # 遍历完一行之后,行号加1
      let i+=1
  done
}

 

转载于:https://www.cnblogs.com/qizhelongdeyang/p/6101124.html

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值