Linux Shell的常用命令

原创 2016年05月31日 15:53:41
  • 利用wc命令统计文件行,单词数,字符数,利用sort排序和去重,在结合uniq进行词频统计

先用cat命令,了解一下文件的大概格式与内容,发现每行为一个单词,现在需要统计这些单词出现的频率,以及显示出现次数最多的5个单词
先对文件进行排序,这样相同的单词在紧挨着的行,然后使用uniq -c命令,统计不同的单词及各个单词出现的次数。这样得到的结果就是次数后面紧挨着单词,然后使用sort -nr对次数进行排序,并逆序显示,最后head命令显示结果的前5行

  • 如果是压缩的文件,并且没有明确的分析目标,首先是要将文件解压缩,然后查看文件占用的空间大小

gzip/tar:压缩/解压
cat/zcat:文件查看
less/more:文件查看,支持gz压缩格式直接查看(more和less的区别就是less更强大,less支持向后翻页,more并不支持)
head/tail:查看文件前/后10行
wc:统计行数、单词数、字符数
du -h -c -s:查看空间占用

  • 有时可能需要提取一行中某个字段的内容,或者需要搜索某些行出来,或者需要对付进行修改:

awk:命令行下的数据库操作工具
join/cut/paste:关联文件/切分字段/合并文件
fgrep/grep/egrep:全局正则表达式查找
find:查找文件,并且对查找结果批量化执行任务
sed:流编辑器,批量修改、替换文件
split:对大文件进行切分处理,按多少行一个文件,或者多少字节一个文件
rename:批量重命名(Ubuntu上带的perl脚本,其它系统需要安装),使用-n命令进行测试
以z开头的几个命令可以简单的处理gzip压缩文件,如zcat:直接打印压缩文件,还有zgrep/zfgrep/zegrep在压缩文件中直接查找

  • fgrep grep egrep的区别

    fgrep按字符串的本来意思完全匹配,里面的正则元字符当成普通字符解析,如:fgrep “1.2.3.4”则只匹配ip地址,“.”不会匹配任意字符。fgrep比grep快,写起来简单,不用转义。
    grep只使用普通的正则
    egrep匹配扩展的正则

  • 其他常用命令

    下面这些命令工具是一些基本的统计命令,针对日志的时间等:
    date:命令行时间操作函数
    sort/uniq:排序、去重、统计
    comm:对两个排序文件进行按行比较(共同行、只出现在左边文件、只出现在右边文件)
    diff:逐字符比较文件的异同,配合cdiff,类似于github的显示效果
    curl/w3m/httpie:命令行下进行网络请求
    iconv:文件编码转换,如:iconv -f GB2312 -t UTF8 1.csv > 2.csv
    seq:产生连续的序列,配合for循环使用

  • 批量操作

    shell中一些批量操作的命令:
    if条件判断:
    if [ -d based];thenmkdirp{base_d};
    fi

while循环:
while
do
do_something;
done

for循环:
for x in *.log.gz;
do
gzip -d ${x};
done

linux常用命令和shell编程

★shell编程 #!/bin/bash 指定了shell脚本的执行shell 使用bash命令来运行脚本时,-v和-x选项可以显示输入行和命令。 1.变量 变量名区分大小写,无须...
  • huangjm_13
  • huangjm_13
  • 2013年07月06日 14:57
  • 4214

Shell编程(脚本)的常用命令和语句

一些常用的Shell编程(脚本)命令和语句,可以满足一般需求。
  • ClementAD
  • ClementAD
  • 2015年07月07日 20:25
  • 4624

Linux Shell常用命令总结

1.   find        find pathname -options [-print -exec -ok]        让我们来看看该命令的参数:        pathname f...
  • xiaolang85
  • xiaolang85
  • 2013年01月31日 15:10
  • 1374

Linux-shell基础常用命令总结

最近在工作中用到linux系统,用的是shell客户端来进行连接。所以对于一些linux常用命令也有所研究,今天在此做一个小结,有不足的望大家指教。        Linux与shell的连接:   ...
  • yangpingping94
  • yangpingping94
  • 2017年05月14日 22:25
  • 128

linux常用命令 和shell脚本(必知)

从工作中总结了一些非常实用的linux命令如下: 命令实例 功能 curl -I http://127.0.0.1:8088/index.jsp curl -I  http://127....
  • wodeyijia911
  • wodeyijia911
  • 2015年09月24日 21:17
  • 1307

常用的shell命令整理

工作快一年了,shell命令也玩了一年了。还是有点积累的,下面是本人常用的。 1、pwd | xargs -i basename {}   获取当前所在目录的名称 2、ps -ef|gre...
  • xcxinghai
  • xcxinghai
  • 2013年09月14日 19:12
  • 3518

linux命令:常用shell命令及应用

http://blog.csdn.net/pipisorry/article/details/44681081小技巧命令行中直接查看linux shell命令及解释man commandLinux下更...
  • pipisorry
  • pipisorry
  • 2015年03月27日 19:40
  • 2639

shell常用命令

find -name find . -name "*.log" -a -size +2k  -print  -type find . -type f -name "*log"  -print -siz...
  • lilongjiu
  • lilongjiu
  • 2016年05月22日 15:44
  • 11510

Linux常用命令总结——文件管理

Linux中的目录 路径:也就是linux中的目录(文件夹)有绝对路径和相对路径 根目录:/ 用户主目录(home directory):位于/home目录下,用户登录时 工作目录(working d...
  • luoweifu
  • luoweifu
  • 2013年07月22日 15:40
  • 3501

Linux Shell sort排序常用命令

1 sort的工作原理   sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。 [rocrocket@rocr...
  • u011613729
  • u011613729
  • 2013年08月20日 10:18
  • 25141
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Linux Shell的常用命令
举报原因:
原因补充:

(最多只允许输入30个字)