linux 分割一定大小,Linux中csv文件按照指定大小进行分割的shell（方法）

需求：将一个CSV文件按照指定大小进行分割

原因：自己编写shell的原因是,自带的split是可以按照文件大小进行分割的，结果是文件最后一行可能被截断。最后一行数据分成两截在两个文件中。为了达到最终文件也是一行一行完整的存储，自己写了一个shell。

#!/bin/bash

source /etc/profile

export JAVA_HOME=/usr/java/jdk1.7.0_80

size=$1

file=$2

FileSize=`ls -l $file |awk '{print $5}'`

res=`echo "scale=2;$FileSize/(1024*1024*$size)+0.1" |bc` #根据要求的大小，算需要分割为多少个文件

lines=`wc -l $file |awk '{print $1}'`

echo orginal file lines is $lines, split file less than $1M, file number '>' $res

num=`echo "$lines/$res" |bc`

# 判断目录是否存在

if [[ $3 == */* ]]

then

#获得目录 dist_10040503_res/tianmao_ 截取dist_10040503_res/为目录

# -v awk_all="$3" 是shell给awk传参数的做法 此处的$3是shell的外部参数

dic=`awk -v awk_all="$3" 'BEGIN{info=awk_all;tlen=split(info,tA,"/");dic=length(info)-length(tA[tlen]);{print substr(info,1,dic)}}'`

if [[ ! -d "$dic" ]]

then

mkdir -p $dic

fi

fi

splitFile=`split -l $num $file $3`

# 修改后缀

for i in $3*

do

fileName="$i"".csv"

echo $fileName

mv $i $i".csv"

done

文件按照大小进行切分

参数1(最终文件大小要小于的数字)

参数2(要切分的文件)

参数3(最终文件存放的位置/文件名字的前缀 或者文件的前缀)

如果参数3格式是 dist_1005773/test_dist_1005773_ 则认为最终的文件存放在dist_1005773目录下以test_dist_1005773_开头

如果参数3格式是 test_dist_1005773_ 则认为最终的文件存放在当前目录下以test_dist_1005773_开头

sh split_file.sh 120 dist_1005773_1_100651_171218-180214.csv dist_1005773/test_dist_1005773_