进入大文件(12g,250w+ lines),vim,耐心等待
有两种方法编辑删除冗余字段
1、set number ,可以通过:+数字组合跳到指定行,输入命令 “:100,200d”(不带冒号哦),删除100到200行内容,wq保存退出;
2、找出要删除的冗余字段规律,如我要删除文件中所有包含 “insert into mytable
values”的行,则用以下命令:
:g/insert into mytable
values/d
执行完wq即可
VIM中的批量替换
3 文件内全部替换:
:%s#abc#123#g (如文件内有#,可用/替换,:%s/abc/123/g)
–注:把abc替换成123
(或者: %s/str1/str2/g 用str2替换文件中所有的str1)
4 文件内局部替换:
:20,30s#abc#123(如文件内有#,可用/替换,:%s/abc/123/g)
–注:把20行到30行内abc替换成123
5 查看文件的前多少行
head -10000 /var/lib/mysql/slowquery.log > temp.log
上面命令的意思是:把slowquery.log文件前10000行的数据写入到temp.log文件中。
6 查看文件的后多少行
tail -10000 /var/lib/mysql/slowquery.log > temp.log
上面命令的意思是:把slowquery.log文件后10000行的数据写入到temp.log文件中。
7 查看文件的几行到几行
sed -n ‘10,10000p’ /var/lib/mysql/slowquery.log > temp.log
上面命令的意思是:把slowquery.log文件第10到10000行的数据写入到temp.log文件中。
场景:linux有些大文件处理起来不方便,需要将其分割,发现一个好用的命令。
bash-4.1$ split --help
用法:split [选项]… [输入 [前缀]]
将输入内容拆分为固定大小的分片并输出到"前缀aa"、“前缀ab”,…;
默认以 1000 行为拆分单位,默认前缀为"x"。如果不指定文件,或
者文件为"-",则从标准输入读取数据。
长选项必须使用的参数对于短选项时也是必需使用的。
-a, --suffix-length=N 指定后缀长度为N (默认为2)
-b, --bytes=大小 指定每个输出文件的字节大小
-C, --line-bytes=大小 指定每个输出文件里最大行字节大小
-d, --numeric-suffixes 使用数字后缀代替字母后缀
-l, --lines=数值 指定每个输出文件有多少行
–verbose 在每个输出文件打开前输出文件特征
–help 显示此帮助信息并退出
–version 显示版本信息并退出
SIZE 可以是一个可选的整数,后面跟着以下单位中的一个:
KB 1000,K 1024,MB 10001000,M 10241024,还有 G、T、P、E、Z、Y。
按照行数分割,如下:
split -l 10000 test.txt test
会在test.txt当前目录下生成以test前缀的一系列文件
按照字节数分割,如下:
split -b 100m test.txt test
如果要切割文件指定命名,参考如下:
split -l 2000 test.txt -d -a 2 lim_
-l:按行分割,上面表示将urls.txt文件按2000行一个文件分割为多个文件
-d:添加数字后缀,如00、01、02
-a 2:表示用两位数据来顺序命名
lim_:用来定义分割后的文件名前面的部分。
获取总行数 : wc -l 文件名
删除日志文件中以INSERT INTO开头的行:
cat /root/filename | sed -e '/^INSERT INTO/d' > /root/filename
cat:查看文件
/root/filename:文件名
| :管道符
sed: 在sed处理文件的时候,每一行都被保存在一个叫模式空间的临时缓冲区中,除非行被删除或者输出被取消,否则所有被处理的行都将打印在屏幕上。接着模式空间被清空,并存入新的一行等待处理。具体说明常见sed百度百科
-e:执行
^:匹配行
d:删除
> : 覆盖写入文件
cat 文件名 | grep ^INSERT > > 文件名
脚本 run.sh
#!/bin/bash
folder=pwd
softfiles=$(ls $folder)
mkdir …/INSERT
for file in
s
o
f
t
f
i
l
e
s
d
o
e
c
h
o
"
{softfiles} do echo "
softfilesdoecho"{file} 正在执行…"
cat
f
i
l
e
∣
g
r
e
p
I
N
S
E
R
T
>
>
.
.
/
I
N
S
E
R
T
/
{file} | grep ^INSERT >> ../INSERT/
file∣grepINSERT>>../INSERT/{file}
echo “source
f
o
l
d
e
r
/
.
.
/
I
N
S
E
R
T
/
{folder}/../INSERT/
folder/../INSERT/{file}” >> …/all.sql
echo “${file}” >> …/jl
done
rm -rf …/INSERT/run.sh
echo “完成”