linux 查询文件大小大于1g_常用Linux命令

最近一直在学习Linux，分享一手Linux中常用的命令，Linux之于生信，下图可以展现的淋漓尽致：

一如既往的上干货：

一、正则表达式：正则表达式是包含匹配。grep、awk、sed命令支持正则表达式通配符是完全匹配，ls、find、cp只能识别通配符。* #与通配符中的*含义不一样，此处指*前任意一个字符可以出现0次或无数次. #匹配换行符以外的任意字符，相当于通配符中的？   正则中的.*相当于通配符中的*^hello #匹配以hello开头的行hello& #匹配以hello结尾的行[0-9] #匹配0-9的任意一个字符 [a-z][abc] #匹配abc中的任意一个字符[^] #取反，入[^0-9]是取除数字以外的字符\ #转义符，让符号的特殊含义消失，变成普通字符 如 grep "\." filename 取包含点的行字符\{n,\} #匹配该字符n次字符\{n,\m} #匹配字符n到m次通配符：? #匹配任意一个字符* #匹配任何内容[] #匹配任意一个字符[^] #逻辑非，取反'' #单引号中的所有特殊字符都没有特殊含义"" #双引号中的特殊符号会有其意义$(命令) #表示这是一条命令二、字符截取cut 可以接收管道符结果，cut无法识别空格cut #提取列， -f 提取第几列  -d 按照指定分隔符提取，cut默认的分隔符是\t 即tab键cut -f 2,4 filename #提取文件中的第2,4列cut -d "分隔符" -f 1,3 filename #以指定分隔符提取1列和3列  三、printf 格式数据命令，不能接受管道符也不能读取文件名，可以printf '%s' $(cat filename)printf '格式类型输出格式' 输出内容格式类型:        %ns #输出n个字符                                                  输出格式：\n  换行                      %ni #输出n个整数数字                                                            \r   回车                      %m.nf #输出m位数，n位是小数                                              \t   tab键四、awk命令 按行读取命令awk'条件1{动作2}条件2{动作2}..' filenameawk '{print $2 "\t" %6}' filename #打出第二列和第六列awk 'BEGIN{print"字符"}{}' filename #在所有动作执行之前执行BEGIN的内容awk 'BEGIN{OFS=FS="\t"}' #指定分隔符gsub(/原字符/,"目标字符",$n)#在第n列全局替换，sub只替换第一次匹配到END #数据处理完后再执行ENDARGIND==1第一个文件awk 'ARGIND==1{if($0~/>/){name=$0; sub(">',"",name); a[name]=$0;} filename#第一个文件如果$0匹配到了>,则将name中的>去除，且name就=$0cat filename | grep -v Name | awk '$6 >= 87 {print $2}' #打印出$大于87的$2awk 'BEGIN{OF=OFS= "\t" }{for (i=1;i<=9;i++)printf("%s ", $i);print ""}' #打印1-9列awk '{$1=$3=""}' filename #打印除了第一列、第三列以外的所有列NF #(number of fields) 文件多少列；NR #(number of rows) 文件读了多少行: FNR# 当前文件读了多少行，常用于多文件操作时。五、sed 数据流编辑器(可以接收管道符)，进行选取、替换、删除、新增，动作可以在每行行尾加\表示数据未完结sed 选项  '动作' filename # -n 只把经过sed命令处理的行输出到屏幕                                         -i 把sed修改结果覆盖到文件中，而不是由屏幕输出动作：a#追加      i#插入       d#删除       p#打印      c#整行替换     #"行范围s/旧字符串/新字符串/g"sed -n '2p' filename #输出文件的第二行sed -i '2,4d' filename #删除文件的2-4行sed '2a hello' filename #在第二行后面追加hellosed '2i hello' filename #在第二行前面插入hello sed '4c 字符' filename #将文件中的第四行换成字符sed 'ns/旧字符串/新字符串/g' filename #替换，n为第几行，不指定则默认所有行，不加新字符串则等于删除字符sed = seq#在每行的前面插上行号sed = seq |sed 'N;s/^/>A/' #N表示先读一行,先读2行就N;N;，^为行首，把行首替换为>Ased '/字符/d' filename #删除包含指定字符的行，所以删除字符用替换格式，设置新字符为空六、sort #sort 选项 文件命-f 忽略大小写-n 以数值型进行排列-r 反向排列-t 指定分隔符，默认是\t-k n[,m] 按指定的字段排列sort -t "分隔符" -k 3,3 #指定分隔符以第三个字段来排序 #加-n后可以以数值型进行排列-o #将排序后的结果输入指定的文件 七、wc -l 统计行-w 统计单词-c 统计字符 八、test#条件判断 -d判断文件是否为目录文件 -e判断文件是否存在 -f判断文件是否为普通文件，-wrx判断是否有可读可写可执行的文件test -e filename #判断文件是否存在[ -e filename] #同上[ -d/root] && echo "yes"|| echo "no" #||为否则，判断root下的文件是否为目录文件，是则回答yes，否则回答no[a#b] ##可以为 [eq是否相等]  [ne是否不等]  [gt是否大于] [lt是否小于] [ge是否大于等于] [le是否小鱼等于]-z 字符串 #判断字符串变量是否为空             -n 字符串 #判断字符串变量是否为非空[ 字符串==字符串 ] #判断两个字符串是否相等 $字符串为变量[ 字符串!=字符串 ] #判断两个字符串是否不等 $字符串为变量判断1 -a 判断2 #两个判断都成立结果为真判断1 -o 判断2 #两个判断一个成立则为真!判断 #使原始的判断取反九、流程控制if语句十、shell #命令解释器，将外层应用程序与内核交互，可以直接调用Linux中的所有命令，Bash与sh兼容echo 选项 输出内容 #输出内容中有空格时需要用引号echo -e #支持反斜线控制的字符转换 如 \b为删除键   \t为tab键 \n为换行符   1、shell脚本格式：#!/bin/Bash #标注着是一个shell程序#注释程序#注释作者信息等脚本2、执行shell脚本的两种方式:(1)、chmod 755 file.sh      file.sh #赋予脚本执行权限，打路径名直接运行(2)、 bash file.sh #直接用bash运行3、变量 #变量不能以数字开头，默认变量都是字符串型，赋值时=两侧不能有空格变量分类：用户自定义变量、环境变量、(1)自定义变量：只对当前shell生效$变量名 #调用变量，变量叠加时用""或者{}扩起来set #查看系统中的所有变量echo $变量名 #变量调用unset 变量名 #变量删除(2)环境变量：可以在当前shell及其子shell中生效，当写入配置文件时，可以在所有shell中生效export 变量名=变量值 #申明变量env #查看环境变量unset 变量名#删除变量PATH是系统查找命令的路径将脚本复制到 echo $PATH后可以直接运行命令中，或PATH="$PATH"后即可直接调用PATH="$PATH":脚本保存目录(3)位置参数变量$n #n为数字，表示位置如：    $0 #当前脚本名称     $1 #脚本后跟的第一个参数    $2 #脚本后跟的第二个参数，以此类推，10以上的参数需要${10}这种格式表示$# #代表命令行中所有参数的个数$* #把所有参数看错一个整体$@ #看循环那里#而在perl中脚本后跟的第一个参数为$ARGV[0],第二个为$ARGV[1],即perl中的索引是从0开始的      计算器脚本：         #!/bin/bash         num1=$1         num2=$2         sum=$(($num1 + $num2))  #这样运行这一脚本 脚本名 num1 num2#即可将num1与num2相加 (4)预定义变量$? #用于接受和判断上一条命令是否执行，0为正确执行，非0则为非正确执行如157为command not found$$ #显示当前进程的进程号(PID)$! #显示后台运行的最后一个进程号4、read #接收键盘输入-t #等待时间-p #提示信息-n 数字 #输入几个字符后就运行-s #输入时隐藏不显示read -t 30 -p"Please input ..." name #30秒内提示后输入信息赋值给name5、bash运算符(1)数值运算declare +或+ 选项 变量名 #-为给变量设定属性，+为取消变量属性， -i申明变量为整数， -x申明变量为环境变量   -p显示指定变量的类型变量3=$(expr $变量1 + 变量2) #expr与let都是数值运算工具，即不声明变量也可以做数字运算 $((运算式))   或$[运算式] #直接运算(2)变量测试与内容替换6、环境变量配置文件(1)source 配置文件 或 . 配置文件#将文件定义到默认的系统环境变量(PATH,HISTSIZE,PS1,HOSTNAME等)之中(放在etc/profile,  /etc/profile.d/*.sh,  /etc/bashrc之中，每次开机就会自动读)，不会因为重启而注销十一、基础1、历史命令：history #展示已经执行过的命令     -c#清空历史命令  -w#把缓存中的历史命令写入历史命令文件中!n #重复第n条历史命令!! #重复执行上一条命令!字符串 #重复执行最后一条以该字符开头的命令2、命令别名 #第一顺位是绝对路径命令，第二顺位为别名，即别名的执行优先级比直接运行的其他命令如ls要高alias 别名='原命令' #设置命令别名alias #查询有哪些命令别名vi /user/.bashrc #写入这个文件后可以使别名永久生效unalias name #删除别名3、快捷键：ctrl+A #将光标移动到命令行开头，E移动到结尾ctrl+C#强制终止当前命令ctrl+L#清屏，作用于clear相等ctrl+R#在历史命令中搜索ctrl+U#删除、剪切光标左侧的所有命令ctrl+Y#粘贴4、输入输出重定向> #输出重定向   >>输出追加命令 2> filename #将命令的报错输出      1为正确结果输出命令 >filename 2>&1 #将命令的正确、错误结果均输到filename中命令 &>文件 #同上命令 &>/dev/null #将脚本丢入垃圾箱命令>文件1 2>文件2 #将正确的结果存在文件1中，错误的结果存在文件2中5、多命令顺序执行  ;#多个命令顺序执行    && #正确执行后才会继续执行(逻辑与)   || #命令1不正确时才执行命令2(逻辑或)6、ls   #-a 显示包括隐藏文件的所有文件(以.开头的文件为隐藏文件)  -l显示详细信息   -d 目录名 #查看目录信息 -h人类可读，是一个通用选项，其他命令也可以用    -i查看文件编号文件类型：d#目录 l#link，软链接 -#二进制文件7、创建目录mkdir -p 目录 目录 目录...#递归创建目录8、删除rm -r 目录 #删除目录rmdir 目录#删除空目录cp# -r复制目录    -p保留文件属性     cp 文件1 文件2 文件3 目录#复制多个文件9、查看文件cat  #tac#倒着显示more #分页显示，空格或F可以翻页，回车翻行，无法向上翻页less #按pgup可以向上翻页，按上可以向上换行，   /关键词#检索，按n寻找下一个tail -f #可以动态查看10、链接ln -s 源文件 目标文件#创建软链接，有箭头指向，其权限由原文件决定硬链接与复制的差别是可以同步更新ln 源文件 目标文件#生成硬链接，硬链接不能跨分区#软链接可以连接目录，而硬链接做不到11、权限管理chmodchmod [ugoa][+-=][rwx] [文件或目录] #-R递归修改，否则子目录的文件不会发生变化如chmod u+x,o-x#还有数字格式，用的时候再查useradd 用户名passwd 密码#创建新的用户，user换成group即创建组chown#改变所有者，只有root才有这个权限chown 用户 文件chgrp 组 文件#改变文件所属组umask -S#显示新建文件的默认权限，linux新创建的文件都没有执行权限，文件夹具有可执行权限12、搜索find 搜索范围 匹配条件find -name filename#使用通配符时需要加引号才能识别find -iname filename#不区分大小写find ./ -size 100M#+n大于多少的文件 -n小于多少的文件 文件大小用数据块(512字节)表示-amin #访问时间 -amin -5#五分钟之内被改过的文件 -cmin #文件属性 -mmin#文件内容-a#两个条件都满足 -o#两个条件满足一个即可 -type#根据文件类型查找 f目录 -ok {} \#将输出的结果传到下一条命令find -inum i节点#根据i节点查找locate finename #在资料库中搜索因此比较快，updatedb可以更新资料库-i不区分大小写which 命令#查找命令存放的绝对路径以及别名grep#在文件得内容里查找grep -n "^$" filename #匹配空白行，-n为输出行前先显示行号grep "字符串" filename  #提取所有含有特定字符串的行grep -v 字符 filename #对字符取反grep -A 1 '字符' filema,e #A为after，将匹配到字符及该行的下一行一起提出来-w #完整匹配grep -f 文件1 -w 文件2 #用文件1里的字符对文件2进行全字匹配以grepgrep -o #只输出匹配的结果-i#不区分大小写十二、循环for i in "$*"  #$后面跟几个值，这个循环就循环几次，并赋值给变量I，但$后面看作一个整体，因此只循环一次for i in "$@" #@后面循环多次十三、perl语言perl filename.perl #调用perl脚本#详情间perl语言篇十四、split语　　法：split [--help][--version][-][-b ][-C ][-l ][要切割的文件][输出文件名]补充说明：split可将文件切成较小的文件，预设每1000行会切成一个小文件。参　　数：　-或-l 　指定每多少行就要切成一个小文件。 　-b 　指定每多少字就要切成一个小文件。 　-C 　与-b参数类似，但切割时尽量维持每行的完整性。 　--help 　显示帮助。 　--version 　显示版本信息。split -l 2482 ../BLM/BLM.txt -d -a 4 BLM_将 文件 BLM.txt 分成若干个小文件，每个文件2482行(-l 2482)，文件前缀为BLM_ ，系数不是字母而是数字(-d)，后缀系数为四位数(-a 4)十五、vimvim filename #用vim打开文件，打开后系统默认你的输入为命令，输入[iao]可以进入插入模式; #从命令模式进入编辑模式， set nu enter可以加入行号wq #保存退出 wq! #强制保存shift zz #保存退出 q！#不保存退出插入命令：a#在光标所在字符后插入      A#在光标所在行尾输入    i#在光标所在字符前插入     I#在光标所在行首插入o#在光标下插入新行            O#在光标下插入新行set nu #设置行号            set nonu #取消行号set mouse=a#允许vim中鼠标移动光标gg #到第一行                   G #到最后一行; n #到第n行，编辑模式下                    nG #到第n行，命令模式下$#移动到行尾    0#移动到行首x#删除光标所在处的字符   nx#删除当前所在位置n个字符ndd#删除光标所在多少行    dG#删除光标所在到末尾的行D#删除光标所在到行尾的位置     ;n1,n2d#删除指定范围的行yy#复制当前行 nyy复制当前以下n行，y换成d就是剪切p#在当前行下粘贴     P#在当前行上粘贴R#在光标处开始替换u#恢复/指定字符#搜索   按n找下一个;set ic#不区分大小写   set no ic 区分大小写;%s/原字符/新字符/g #全文替换      ;n1,n2s/原字符/新字符/g #在指定范围内替换指定字符r 文件名#将文件的内容导入到当前光标!which 命令#找出命令的位置，即这样可以在不退出vim的情况下输入命令执行结果:map ctrlv p 想做的一系列命令 esc #定义p为命令的快捷键ab a b#定义a和b后，输入a接空格/回车即可输出b的内容，即设置b的简写为a把命令、简写可以写在/home/username/.vimrc下，每次编辑vim时即可调用split#分屏 vsplit可以纵向分屏十六、压缩："*.gz"、"*.bz2"、"*.tar.bz2"、"*.tgz"格式：gzip压缩命令：gzip：#只能压缩文件，不保留原文件 gzip filename#生成gz文件gunzip filename或gzip -d#解压gz文件tar-c#打包 -x#解包 -v#显示详细信息  -f#指定文件命tar -cvf finename.tar finename#tar命令处理前的文件放后面tar -zcf finename.tar.gz finename#打包同时压缩成gztar -cjf finename.tar.bz2 finename#打包同时压缩位bz2格式：zipzip finename.zip finenamezip -r filename.zip filename #可以压缩目录unzip #解压缩格式：bzip2bzip2 -k finename#压缩时可以保留原文件bunzip2 filename #解压十七、集群管理服务器登入的IP地址(节点)，均为登录和管理节点，是所有系统和集群的基础，不能run大内存任务，否则所有节点均会崩溃，因此需要穿梭到计算节点运行任务qsub -l vf=40G,p=8  xx.sh#宏基因组的投递qsub -cwd -l  vf=4G work.sh -o result -e error.txt #-o 程序输出  -e 错误输出qsub -l h=hpc01 -l vf=1G -l p=2  test.sh # -l p=n 使用n个cpu来执行，vf为执行内存，宏基因组比较大，大概需要40Gqdel -j 任务号#删除任务qsub -l h=hpc02,vf=10G  test.sh#任务投递到指定计算节点hpc02ls all.pro.R*sh | while read dd;do qsub -l vf=10G $dd;done#集群上批量投任务qsub -l h=hpc0[1234] a.sh#随机将任务投到几个节点 qstat -u \*#查看所有的任务qstat #查询当前用户的任务，state为r则为在run，state为qw则为在排队qstat -j  job-ID#查看具体ID的信息qhost -F  查看集群机器的资源配置信息qconf -mattr exechost complex_values  num_proc=40 hpc07       调度用的最大线程数 ，  qconf -mattr exechost complex_values virtual_free=4G node01   调度用的最大虚拟内存qalter -w v 查看任务排队原因qhost 查看机器配置信息ssh  hpc06#穿梭到hpc06计算节点十八、硬件相关df -h#查看分区 -a显示隐藏文件，df的可用空间是真实的du -h#ls不能统计文件夹的大小，du可以显示目录与子目录的大小，-a显示每个子文件大小，-s统计总占用量，du只显示文件大小，而不显示系统的大小fsck 选项 分区设备文件名#修复系统-a#不提示，自动修复 -y#-a的早期写法查询与自动挂载：mount #显示已经挂载的盘符mount -l#挂载时显示卷标名称mount -a #根据/etc/fstab配置的内容，自动挂载mount -t 文件系统 -L 卷标名 -o 特殊选项 设备文件名 挂载点挂载光盘mkdir /mnt/cdrom/#建立挂载点mount -t iso9660 /dev/cdrom/mnt/cdrom #挂载目录是默认的mount /dev/cdrom /mnt/cdrom/#把设备中的连如挂载点，访问时去挂载点访问数据unmount 设备文件名或挂载点#卸载挂载，pwd在光盘里时无法卸载挂载U盘fdisk -l#查看U盘设备文件名，打开linux后鼠标点进去再插入U盘，否则会被Windows截胡，默认会显示sdbmount -t vfat /dev/sdb1 /mnt/usb/#fat为16g，32g为vfat，linux不支持NTFS文件系统支持NTFS的方式，下载插件：http:/www.tuxera.com/community/ntfs-3g-download/#winscp跟filezila一样tar -zxvf解压cd进入解压目录./configure#编译器准备make#编译make install#编译安装，要提前装gccfdisk -lmount -t ntfs-3g 分区设备文件名 挂载点mount -t ntfs-3g /dev/sdb1 /mnt/usb/十九、linux 文件颜色的含义，蓝色代表目录，绿色代表可执行文件，红色表示压缩文件，浅蓝色表示链接文件，灰色表示其他文件，红色闪烁表示链接的文件有问题了，黄色表示设备文件。蓝色文件----------目。录白色文件----------一般性文件，如文本文件，配置文件，源码文件等。浅蓝色文件----------链接文件，主要是使用ln命令建立的文件。绿色文件----------可执行文件，可执行的程序。红色文件-----------压缩文件或者包文件。二十、linux目录/bin/ #存放系统的命令，普通用户可以访问                                         /sbin/ #超级用户的命令/boot/ #系统启动目录/dev/ #保存设备的硬件文件/etc/ #默认配置文件保存目录                      /usr/ #系统软件资源目录/home/user #每个用户的默认登录位置/lib/ #系统调用的函数保存位置/media/ #用于挂载媒体设备，如软盘和光盘      /mnt/ #用于挂载U盘和移动硬盘     /misc #挂载NFS的共享服务/opt/ #在第三方软件的保存位置/proc/ #用于存放内存的位置/var/ #日志二十一、convert，convert命令可以用来转换图像的格式，支持JPG, BMP, PCX, GIF, PNG, TIFF, XPM和XWD等类型(https://blog.csdn.net/weixin_33806914/article/details/85943826)  convert  xxx.jpg  xxx.png   将jpeg转成png文件  convert  xxx.gif   xxx.bmp  将gif转换成bmp图像  convert  xxx.tiff    xxx.pcx   将tiff转换成pcx图像Final_tips：cat是纵向合并 paste是横向合并seq 1 5 10#获得1-10的数字，步长为5seq -s ' ' 1 10 #以 为分隔符获得数字怎么查看文件是否由tab分隔，less 文件后，^I回车即可显示cat -A filename #可以显示文件中的特殊字符cat /etc/shells #查看系统中支持哪些shelldos2unix filename #将文件由Windows格式转换为Linux格式mat方式可以不用占用真实机的IP就可以联网ip addr 即可显示ip地址，有ipv4与ipv6kill -9 pid号#终止进程passwd#修改密码passwd -l#使密码失效exit#正确退出ping www.baidu.com#检查网络连接是否正常sudo apt-get update#解决Unable to locate package的问题linux无扩展名，主要有以下几种文件，后缀主要是便于操作者识别：C:\Users\用户名\AppData\Local\Packages\CanonicalGroupLimited.Ubuntu18.04onWindows_79rhkp1fndgsc\LocalState\rootfs#子系统的文件目录pstree#展现进程树ps -aux#展现包括其他用户的进程二进制软件包：".rpm"网页文件:"*.html"、"*.php"脚本文件："*.sh"配置文件: "*.conf"linux的所有储存设备都必须挂载后才能使用，即把设备与设备名联起来，分配盘符

给这篇文章留言