处理几十G的sql文件

进入大文件（12g,250w+ lines），vim，耐心等待

有两种方法编辑删除冗余字段

1、set number ，可以通过:+数字组合跳到指定行，输入命令 “:100,200d”(不带冒号哦），删除100到200行内容，wq保存退出；

2、找出要删除的冗余字段规律，如我要删除文件中所有包含 “insert into mytable values”的行，则用以下命令：

:g/insert into mytable values/d

执行完wq即可

VIM中的批量替换

3 文件内全部替换：

:%s#abc#123#g (如文件内有#，可用/替换,:%s/abc/123/g)

–注：把abc替换成123

(或者: %s/str1/str2/g 用str2替换文件中所有的str1）

4 文件内局部替换：

:20,30s#abc#123(如文件内有#，可用/替换,:%s/abc/123/g)

–注：把20行到30行内abc替换成123

5 查看文件的前多少行

head -10000 /var/lib/mysql/slowquery.log > temp.log

上面命令的意思是：把slowquery.log文件前10000行的数据写入到temp.log文件中。

6 查看文件的后多少行

tail -10000 /var/lib/mysql/slowquery.log > temp.log

上面命令的意思是：把slowquery.log文件后10000行的数据写入到temp.log文件中。

7 查看文件的几行到几行

sed -n ‘10,10000p’ /var/lib/mysql/slowquery.log > temp.log

上面命令的意思是：把slowquery.log文件第10到10000行的数据写入到temp.log文件中。

---

场景：linux有些大文件处理起来不方便，需要将其分割，发现一个好用的命令。

bash-4.1$ split --help
用法：split [选项]… [输入 [前缀]]
将输入内容拆分为固定大小的分片并输出到"前缀aa"、“前缀ab”,…；
默认以 1000 行为拆分单位，默认前缀为"x"。如果不指定文件，或
者文件为"-"，则从标准输入读取数据。

长选项必须使用的参数对于短选项时也是必需使用的。
-a, --suffix-length=N 指定后缀长度为N (默认为2)
-b, --bytes=大小 指定每个输出文件的字节大小
-C, --line-bytes=大小 指定每个输出文件里最大行字节大小
-d, --numeric-suffixes 使用数字后缀代替字母后缀
-l, --lines=数值 指定每个输出文件有多少行
–verbose 在每个输出文件打开前输出文件特征
–help 显示此帮助信息并退出
–version 显示版本信息并退出

SIZE 可以是一个可选的整数，后面跟着以下单位中的一个：
KB 1000，K 1024，MB 10001000，M 10241024，还有 G、T、P、E、Z、Y。

按照行数分割，如下：

split -l 10000 test.txt test

会在test.txt当前目录下生成以test前缀的一系列文件
按照字节数分割，如下：

split -b 100m test.txt test

如果要切割文件指定命名，参考如下：

split -l 2000 test.txt -d -a 2 lim_

-l：按行分割，上面表示将urls.txt文件按2000行一个文件分割为多个文件

-d：添加数字后缀，如00、01、02

-a 2：表示用两位数据来顺序命名

lim_：用来定义分割后的文件名前面的部分。

---

获取总行数 ： wc -l 文件名

---

删除日志文件中以INSERT INTO开头的行:

cat /root/filename | sed -e '/^INSERT INTO/d' > /root/filename

cat:查看文件
/root/filename:文件名
| :管道符
sed: 在sed处理文件的时候，每一行都被保存在一个叫模式空间的临时缓冲区中，除非行被删除或者输出被取消，否则所有被处理的行都将打印在屏幕上。接着模式空间被清空，并存入新的一行等待处理。具体说明常见sed百度百科

-e:执行
^:匹配行
d:删除
> : 覆盖写入文件

---

cat 文件名 | grep ^INSERT > > 文件名

---

脚本 run.sh

#!/bin/bash
folder=pwd
softfiles=$(ls $folder)
mkdir …/INSERT
for file in $softfilesdoecho"${file} 正在执行…"
cat $file|gre{p}^{I}NSERT>>../INSERT/${file}
echo “source $folder/../INSERT/${file}” >> …/all.sql
echo “${file}” >> …/jl
done
rm -rf …/INSERT/run.sh
echo “完成”