1. 查找文件中重复的值
文件中的值
111
222
888
999
111
命令:
sort ./test.log | uniq -d
输出:
111
sort命令的常见用法:https://www.cnblogs.com/fulucky/p/8022718.html
2. 查看文件行数
wc -l vocab.en.txt
3. 查看字符串“-”所在的行数
grep -n "–" vocab.en.txt
4. 查看文件的某几行的内容
sed -n '27,27p' vocab.zh.txt 显示文件vocab.zh.txt第27行的内容
sed -n '27,30p' vocab.zh.txt
5. 查看当前文件夹下有多少行
ls -l |wc -l
6.带行号查看文件
cat -n testZh3.txt
7. 将一个文件的前500000行copy到另一个文件
head -n 500000 train.en > train.en1
8. 对一个文件重命名:
mv -f train.en1 ./test/train.en
9.合并2个文件:
cat corpus.bpe32k.en corpus.bpe32k.de > corpus.bpe32k.all 将.en和.de合并到.all中
10.vim一个文件时,显示行号:
:set nu
11.查找文件中关键字所在的行:
grep -c "Validating model at step" ./nohup.out 在nohup.out中查找包含"validating---”的行
grep -nr "Validating model at step" ./nohup.out 在nohup.out中查找包含"validating---”的行及其对应的行号
cat nohup.out |head -n 6000 |tail -n +5000 显示nohup.out中5000-6000行对应的内容
从第3000行开始,显示1000行。即显示3000~3999行
cat filename | tail -n +3000 | head -n 1000
12. 查找文件所在位置
find . -name "loadEn.py"
13.常用的文件压缩、解压命令
-
解压全部命令参考:
tar –xvf file.tar 解压 tar包
tar -xzvf file.tar.gz 解压tar.gz
tar -xjvf file.tar.bz2 解压 tar.bz2
tar –xZvf file.tar.Z 解压tar.Z
unrar e file.rar 解压rar
unzip file.zip 解压zip
-
linux下解压命令大全
-
.tar
解包:tar xvf FileName.tar
打包:tar cvf FileName.tar DirName
(注:tar是打包,不是压缩!)
———————————————
-
.gz
解压1:gunzip FileName.gz
解压2:gzip -d FileName.gz
压缩:gzip FileName
.tar.gz 和 .tgz
解压:tar zxvf FileName.tar.gz
压缩:tar zcvf FileName.tar.gz DirName
———————————————
-
.bz2
解压1:bzip2 -d FileName.bz2
解压2:bunzip2 FileName.bz2
压缩: bzip2 -z FileName
-
.tar.bz2
解压:tar jxvf FileName.tar.bz2
压缩:tar jcvf FileName.tar.bz2 DirName
———————————————
-
.bz
解压1:bzip2 -d FileName.bz
解压2:bunzip2 FileName.bz
压缩:未知
-
.tar.bz
解压:tar jxvf FileName.tar.bz
压缩:未知
14.查看文件夹下文件大小
du -sh *
15.下载文件到本地Windows以及本地上传
使用xshell登录方便,操作也比较方面。传文件 就是使用rz,sz 首先,服务器要安装了rz,sz yum install lrzsz 当然你的本地windows主机也通过ssh连接了linux服务器 。
运行rz -be,会将windows的文件传到linux服务器
运行sz filename,会将文件下载到windows本地
例如:
sz 服务器的file路径。例
sz /home/linyimeng/game/liantong2018/data/result_xgbc_dummey2_fenxiang.csv
会自动弹出窗口,选中本地要存放的文件位置
16.截取文件中的20000行生成新文件并将新文件放到指定目录
head -n 20000 finance_classes.txt > ../../../../lat/part.txt
17.截取文件部分内容保存到新文件中
sed -n '开始行数,结束行数p' 待截取的文件 >> 保存的新文件
这样就可以将指定的日志内容保存到新文件中了。执行如下就可以将执行日志保存到daxin.log中了。
sed -n '1350679,2151443p' hive.log.2018-06-26 >> daxin.log
18. 统计文件夹下的文件个数
统计某文件夹下文件的个数: ls -l |grep "^-"|wc -l
统计文件夹下文件的个数,包括子文件夹里的:ls -lR|grep "^-"|wc -l
统计某文件夹下目录的个数:ls -l |grep "^d"|wc -l
统计文件夹下目录的个数,包括子文件夹里的:ls -lR|grep "^d"|wc -l
如统计/home/archer目录(包含子目录)下的所有js文件则:ls -lR /home/archer|grep js|wc -l 或 ls -l "/home/archer"|grep "js"|wc -l
ls -lR #长列表输出该目录下文件信息(R代表recursive,对子文件夹进行搜索,可能是目录、链接、设备文件等)
grep "^-" #将长列表输出信息过滤一部分,只保留一般文件;如果只保留目录就是 ^d
wc -l #统计输出信息的行数,因为已经过滤得只剩一般文件了,所以统计结果就是一般文件信息的行数,又由于一行信息对应一个文件,所以也就是文件的个数
19.cat命令
一次性查看整个文件内容:cat filename
创建一个文件:cat > filename 按Ctrl+d退出,只能创建新文件,不能创建已有文件!
将几个文件合并成一个文件:cat file1 file2 > file
20.more命令
- 从笫n行开始显示:more+n filename
- 定义屏幕大小为n行:more -n filename
- +/pattern 在每个档案显示前搜寻该字串(pattern),然后从该字串前两行之后开始显示:more +/pattern filename
21.grep命令
- 查找指定进程:ps -ef|grep python
- 查找指定进程个数:ps -ef|grep python -c
- 从文件中查找关键字:grep "O" utils.py 在utils.py中查找关键字O
- 找出以某个关键字开头的行内容:找出以p开头的行内容 grep ^p Mapper.py
- 找出不以“p”关键字开头的行内容: grep ^[^p] Mapper.py
- 输出以hat结尾的行内容:grep hat$ filename
- 输出一个文本文件中数据的行数:grep -c ‘.*’ filename 如: grep -c '.*' Mapper.py
- 搜索log目录下卡号为:“4563513600036385540”,在哪个文件的具体位置及行数:grep -rin “4563513600036385540” log/
-
grep常用参数
-c:打印符合要求的行数(及统计符合要求多少行)
-i:忽略大小写
-n:打印符合要求的行,并显示行号
-v:反着打b印(及不包含符合要求的内容) -
grep -c 'nologin$' /etc/passwd 查询nologin用户的个数 grep -v 'nologin$' /etc/passwd 查询不是nologin用户
22.cut剪切
cut -nb 3 test.txt 将test.txt的第三列剪切出来
23. sed编辑
(1)sed删除
nl test.txt |sed '2,5d' 删除文件的2-5行,屏幕上只显示其他行。
sed '3,$d' test.txt 删除文件的第3行到最后一行,显示其他行
sed '1,2d' test.txt 删除文件的1-2行,显示剩下的行
sed '/dada/d' test.txt 删除文件中dada字符串所在的行,显示其他行
(2)sed替换
sed 's/da/ttt/g' test.txt
说明:s 命令用于替换。命令末端的 g 表示在行内全局替换;也就是说如果每一行里出现多个da,所有的 da都会被替换为 ttt。如果没有 g 命令,则只将每一行的第一 da替换为 ttt。
sed 's/[0-9][0-9]$/&.5/' test.txt 所有以 2 位数结尾的行后面都被加上.5。
sed -n ‘$=’ test.txt 显示test.txt中的行数
(3)sed查看
sed -n '1,2p' ab 显示文件的1-2行
sed -n '/da/p' test.txt 查询包括关键字da的所有行
24. awk (将一行分为多个字段做处理)
(1)
last -n 5 查看当前用户信息的前5行
last -n 5 |awk '{print $1}' 从这些信息中取出第一个字段的信息并打印
(2)一些信息的提取
[chen@localhost scripts]$ cat /etc/passwd | head
root:x:0:0:root:/root:/bin/bash
bin:x:1:1:bin:/bin:/sbin/nologin
daemon:x:2:2:daemon:/sbin:/sbin/nologin
adm:x:3:4:adm:/var/adm:/sbin/nologin
lp:x:4:7:lp:/var/spool/lpd:/sbin/nologin
sync:x:5:0:sync:/sbin:/bin/sync
shutdown:x:6:0:shutdown:/sbin:/sbin/shutdown
halt:x:7:0:halt:/sbin:/sbin/halt
mail:x:8:12:mail:/var/spool/mail:/sbin/nologin
operator:x:11:0:operator:/root:/sbin/nologin
#cat /etc/passwd |awk -F ':' '{print $1}' #-F 指定分隔符为 :
root
daemon
bin
sys
#cat /etc/passwd |awk -F ':' '{print $1"\t"$7}' #显示第1、7个字段
root /bin/bash
daemon /bin/sh
bin /bin/sh
sys /bin/sh
#搜索/etc/passwd有root关键字的所有行,并显示对应的shell
# awk -F: '/root/{print $7}' /etc/passwd
/bin/bash
(3)awk查找某个关键字
awk '/收入/' finance_words.txt
grep 'nologin$' /etc/passwd|awk -F ':' '{print $1}' grep查看以nologin结尾的行,AWK查询以":"分隔的第一列的信息
(4)awk提取文件某列并输出
awk '{print $1}' ./Input.txt > ./out.txt
这里' '中是要输出的表达式,$1代表第一列,Input.txt是输入文件。
awk '{print $1,$2}'
提取前两列。
提取之后的文件就可以用sort等命令进行操作:
sort ./out.txt | uniq out
排序并删除重复行。
awk新增命令:
1.输出文件的第一列,第四列
- 其中单引号中的被大括号括着的就是awk的语句,注意,其只能被单引号包含。
- 其中的$1..$n表示第几例。注:$0表示整个行。
$ awk '{print $1, $4}' netstat.txt
2.awk的格式化输出
awk '{printf "%-8s %-8s %-8s %-18s %-22s %-15s\n",$1,$2,$3,$4,$5,$6}' netstat.txt
3.awk 条件筛选
过滤条件为:第三列的值为0 && 第6列的值为LISTEN
awk '$3==0 && $6=="LISTEN" ' netstat.txt
当第三列大于0的时候取出当前行
awk ' $3>0 {print $0}' netstat.txt
需要表头时引入内建变量NR
awk '$3==0 && $6=="LISTEN" || NR==1 ' netstat.txt
加上格式化输出:
awk '$3==0 && $6=="LISTEN" || NR==1 {printf "%-20s %-20s %s\n",$4,$5,$6}' netstat.txt
awk的内建变量:
$0 | 当前记录(这个变量中存放着整个行的内容) |
$1~$n | 当前记录的第n个字段,字段间由FS分隔 |
FS | 输入字段分隔符 默认是空格或Tab |
NF | 当前记录中的字段个数,就是有多少列 |
NR | 已经读出的记录数,就是行号,从1开始,如果有多个文件话,这个值也是不断累加中。 |
FNR | 当前记录数,与NR不同的是,这个值会是各个文件自己的行号 |
RS | 输入的记录分隔符, 默认为换行符 |
OFS | 输出字段分隔符, 默认也是空格 |
ORS | 输出的记录分隔符,默认为换行符 |
FILENAME | 当前输入文件的名字 |
输出行号:
awk '$3==0 && $6=="ESTABLISHED" || NR==1 {printf "%02s %s %-20s %-20s %s\n",NR, FNR, $4,$5,$6}' netstat.txt
4.指定分隔符
awk 'BEGIN{FS=":"} {print $1,$3,$6}' /etc/passwd
等价于:-F 也是指定分隔符
|
5.指定多个分隔符
awk
-F
'[;:]'
6.以\t作为分隔符输出
awk
-F:
'{print $1,$3,$6}'
OFS=
"\t"
/etc/passwd
7.字符串匹配
awk
'$6 ~ /FIN/ || NR==1 {print NR,$4,$5,$6}'
OFS=
"\t"
netstat.txt
$
awk
'$6 ~ /WAIT/ || NR==1 {print NR,$4,$5,$6}'
OFS=
"\t"
netstat.txt
第一个是打印第六列中开头包含FIN的4,5,6列,
第一个示例匹配FIN状态, 第二个示例匹配WAIT字样的状态。其实 ~ 表示模式开始。/ /中是模式。
awk
'/LISTEN/'
netstat
.txt 匹配行中的关键字LISTEN
awk
'$6 ~ /FIN|TIME/ || NR==1 {print NR,$4,$5,$6}'
OFS=
"\t"
netstat
.txt 匹配第6列中包含FIN或TIME的字段
取反:
awk
'!/WAIT/'
netstat
.txt
脚本编写:第6列是TIME
|ESTABLISHE,则将结果输出到1.txt,第6列是listen,则将结果输出到2.txt,其余的输出到3.txt。
awk
'NR!=1{
if
($6 ~
/TIME
|ESTABLISHED/) print >
"1.txt"
;
else
if
($6 ~
/LISTEN/
) print >
"2.txt"
;
else
print >
"3.txt"
}'
netstat
.txt
8.统计
计算所有的C文件,CPP文件和H文件的文件大小总和。
ls
-l *.cpp *.c *.h |
awk
'{sum+=$5} END {print sum}'
统计每个用户的进程的占了多少内存(注:sum的RSS那一列)
ps
aux |
awk
'NR!=1{a[$1]+=$6;} END { for(i in a) print i ", " a[i]"KB";}'
9.awk脚本
- BEGIN{ 这里面放的是执行前的语句 }
- END {这里面放的是处理完所有的行后要执行的语句 }
- {这里面放的是处理每一行时要执行的语句}
(5) 查看一个文件中有多少个query(每个query下有多条数据)
head 20190916.tsv|awk -F"|" '{print $1}'|sort|uniq|wc -l
cat wiseautocar_bs_top20_hitmodels_20190916.tsv|awk -F"|" '{print $1}'|sort|uniq|wc -l
25.删除某个前缀开头的文件
find ./ -name 'news_video_vec_20180*' -exec rm {} \;
26.删除文件中的某一行
sed -i '1d' filename 删除文件第一行
sed -i '2d' filename 就是删除第二行
sed -i 'nd' filename 就是删除第二行
sed -i '$d' filename 就是删除最后一行
27.移动光标到行首和行尾
ctrl+a 光标移动到行首
ctrl+e 光标移动到行尾
28.mac连接远程服务器
a).打开Mac的命令终端
b).输入ssh -p 22 用户名@服务器地址 它会提示你输入密码,输入正确的密码之后,你就发现已经登陆成功了. 22是端口号
29.暂停正在运行的进程,使其在后台运行
在ssh shell中运行脚本,比如我运行一个批量下载脚本:
python download-app-annie.py
按下ctrl-z中断脚本运行,此时系统提示:
^Z
[1]+ Stopped python download-app-annie.py
意思是编号为1的任务挂起了,[1]就是任务的编号,里面的数字也可能是2,3,4..
输入命令:bg 1
这个命令将1号任务切换到后台执行
输入命令:disown -h %1
这个命令的意思是将1号任务从当前shell的任务列表中移除,并且忽略HUP信号,这样,即使当前Shell结束了,这个任务也不会被结束,而是继续留在后台执行。
30.vi模型下跳到文本的最后一行
按“G”,即“shift+g”
31.linux 下 ls 文件夹和文件没有颜色的解决办法
.bashrc 中加入
alias ls="ls --color"
32.在文件中查找指定字符串出现的次数
grep -c "绗缝" train.txt
33.在文件中查找到指定的字符串并对其进行批量替换
将文件1.txt内的文字“garden”替换成“mirGarden”
# sed -i "s/garden/mirGarden/g" 1.txt //sed -i 很简单
34. 比较两个文件的差异,将不同处的信息显示出来
语法:diff [options] FILES
(1)FILE1 FILE2 :源是一个文件,目标也是文件。这两个文件必须是文本文件。以逐行的方式,比较文本文件的异同处。
e.g. diff 1.txt 2.txt
(2)DIR1 DIR2 :源是一个目录,目标是目录。diff 命令会比较两个目录下名字相同的文本文件,依照字母次序排序,列出不同的二进制文件,列出公共子目录,列出只在一个目录出现的文件。
e.g. diff dir1 dir2
(3)FILE DIR :源是一个文件,目标是目录。diff命令把源文件与目标目录下的同名文件比较。
e.g. diff 1.txt dir2
(4)DIR FILE :源是一个目录,目标是文件(不是目录)。源目录下所有文件中与目标文件同名的文件,将用来与目标文件比较。
e.g. diff dir1 2.txt
35.统计文件夹下的文件数
ls -l |grep "^-"|wc -l
36.根据日期将copy,移动文件
copy:将path1下的修改日期在一天之内的文件copy到path2下
find path1 -mtime -1 -type f -exec cp {} path2 \;
移动:将path1下的修改日期在一天之内的文件mv到path2下
find path1 -mtime -1 -exec mv {} path2 \;
37. du 显示某个特定目录(默认当前目录)的磁盘空间使用情况
du -c 显示所有已列出文件总大小
du -h 按照用户易读的格式输出大小
du -s 显示每个输出参数的总计
du -sh *| sort -nr 对目录文件大小按数值排序
38.排序数据
sort file 按照会话指定的默认语言排序规则对文本文件中的数据进行排序
sort -n file 对文件中的数字按照数值而不是字符排序
sort -M file 按月进行排序
sort -t ':' -k 3 -n file 将文件按冒号分割,并对其中第三个字段进行数值排序
39.搜索数据
grep t file 搜索file中匹配模式‘t’的行
grep -n ki file 显示匹配模式t的行所在的行号
grep -v t file 方向搜索,输出不匹配该模式的行
grep -c ki file file中有多少个满足匹配模式ki的行
grep -e s -e i file file中包含多个匹配模式的行,匹配s或i
grep [tf] file 使用正则表达式进行匹配,匹配包含字符t或字符f的行
https://www.jianshu.com/p/de98af781829
参考:https://www.cnblogs.com/xue0123/p/6413419.html
https://blog.csdn.net/weixin_42778196/article/details/81560334
https://coolshell.cn/articles/9070.html