bash shell中数组的运用:按照关键字拆分组把大文件拆成多个小文件

用户有个需求，从EBS中查出所有未计提折旧的资产，要四个字段，分公司代码（即资产标签前几位），资产标签号，资产启用日期，是否折旧，这些数据要下发给个分公司，要求各个分公司单独成一个文件。用如下sql查出没折旧的信息关联下资产主表和资产帐簿表即可，把查出的数据导成csv格式，用逗号分隔。

select substr(b.TAG_NUMBER, 0, 4) 资产标签前4位,
         b.TAG_NUMBER 资产标签,
       b.CREATION_DATE 资产创建日期,
       fb.DEPRECIATE_FLAG 折旧标识
        from fa_books fb, fa_additions_v b
 where fb.asset_id = b.ASSET_ID
   and fb.depreciate_flag = 'NO'
and fb.idate_ineffective is null

Technorati 标记: bash, 数组

然后按照标签前四位分组，前四位相同的在一个文件中，用sql也不难实现，就是一个文件查一次，导出一次，纯手工操作，纯体力活，童叟无欺。可是咱比较懒啊，遇到这种事儿当然用程序处理了，当然是也是为了长远打算，以后得查好几次呢，再说来回的折腾数据库，几百万级别的关联查询也很费电的。决定用shell来弄，用awk、sed工具应该很easy实现，这两个工具用起来比较抽象，还是用比较简单的数组来弄，只需6行代码（其实用上分号，也能组合成一行）：

orgs=(`cat zhejiu.csv | cut -d , -f 1 |sort -u`)
for ORG in "${orgs[@]}" 
do
echo "组织代码,资产标签,资产创建日期,是否折旧" > ${ORG}.csv
grep ^$ORG zhejiu.csv >> ${ORG}.csv
done

把用sort去重后的组织代码放到一个数组中，然后用个循环来处理，grep 关键字时用正则过滤下，^$ORG 只过虑以$ORG开头的行，完美搞定。

再复习下bash shell中数组的使用：bash来自C语言，C的数组都是从0开始的：

5种输入方式：

1.一次一个，这样可以定义稀疏数组

 

array[0]=zero

array[1]=one

#array[2]=two     #即：可以把这个略过，不用连续

array[3]=three

2.一次全部

students=( zhangsan lisi wangwu  )

 

#！/bin/sh

students=( zhang san #张三

li si #李四

wang wu #王五

）

 

for name in ${students[@]}

do

echo -en "$name"

done

3.按照索引来

students=( [0]=zhangsan [d1]=lisi [2]=wangwu)

 

4.全部读入从文件或者源头

#将数值批量写入到数组中，用 array=（ 输出即可） ，另外需要转换下IFS
[root@localhost array-test]# cat shuzu.sh
#!/bin/sh
#set -x
oIFS=$IFS
IFS="
"
users=( `cat /etc/passwd | cut -d : -f "1"` )
for USER in "${users[@]}"
do
     echo line: $USER
done
IFS=$oIFS
[root@localhost array-test]# 

5.从输入读取 ,read -a

[root@localhost array-test]# read -a var
1 2 3
[root@localhost array-test]# echo "you var ${var[0]} then ${var[1]} last is ${var[2]}"
you var 1 then 2 last is 3
[root@localhost array-test]#

 

---

#用Shell实现冒泡排序，给定数据data=( 3 1 2 )
#！/bin/bash
#先计算数组个数
n=${data[*]}
#定义排序函数
bubblesort()
{
#c版的 for i
for i in `seq 0 $n`
do
for (( j=${#data[@]} - 1 ; j>i ; j-- ))
 do
   #echo $j
   if  [[ ${data[j]} -lt ${data[j-1]} ]]
   then
      t=${data[j]}
      data[j]=${data[j-1]}
      data[j-1]=$t
   fi
done
done
}

---

数组的复制,将数组var1 给var2

• var2=("${var1[@]}")
• C风格的var1=( a c  )

var2+=("${var1[@]}")

数组的追加

var[${#var[@]}]=last

数组的删除：用 var[7]=

或者 unset var[7]

前者是名存实亡，后者是名亡实亡