Linux Shell的常用命令

原创 2016年05月31日 15:53:41
  • 利用wc命令统计文件行,单词数,字符数,利用sort排序和去重,在结合uniq进行词频统计

先用cat命令,了解一下文件的大概格式与内容,发现每行为一个单词,现在需要统计这些单词出现的频率,以及显示出现次数最多的5个单词
先对文件进行排序,这样相同的单词在紧挨着的行,然后使用uniq -c命令,统计不同的单词及各个单词出现的次数。这样得到的结果就是次数后面紧挨着单词,然后使用sort -nr对次数进行排序,并逆序显示,最后head命令显示结果的前5行

  • 如果是压缩的文件,并且没有明确的分析目标,首先是要将文件解压缩,然后查看文件占用的空间大小

gzip/tar:压缩/解压
cat/zcat:文件查看
less/more:文件查看,支持gz压缩格式直接查看(more和less的区别就是less更强大,less支持向后翻页,more并不支持)
head/tail:查看文件前/后10行
wc:统计行数、单词数、字符数
du -h -c -s:查看空间占用

  • 有时可能需要提取一行中某个字段的内容,或者需要搜索某些行出来,或者需要对付进行修改:

awk:命令行下的数据库操作工具
join/cut/paste:关联文件/切分字段/合并文件
fgrep/grep/egrep:全局正则表达式查找
find:查找文件,并且对查找结果批量化执行任务
sed:流编辑器,批量修改、替换文件
split:对大文件进行切分处理,按多少行一个文件,或者多少字节一个文件
rename:批量重命名(Ubuntu上带的perl脚本,其它系统需要安装),使用-n命令进行测试
以z开头的几个命令可以简单的处理gzip压缩文件,如zcat:直接打印压缩文件,还有zgrep/zfgrep/zegrep在压缩文件中直接查找

  • fgrep grep egrep的区别

    fgrep按字符串的本来意思完全匹配,里面的正则元字符当成普通字符解析,如:fgrep “1.2.3.4”则只匹配ip地址,“.”不会匹配任意字符。fgrep比grep快,写起来简单,不用转义。
    grep只使用普通的正则
    egrep匹配扩展的正则

  • 其他常用命令

    下面这些命令工具是一些基本的统计命令,针对日志的时间等:
    date:命令行时间操作函数
    sort/uniq:排序、去重、统计
    comm:对两个排序文件进行按行比较(共同行、只出现在左边文件、只出现在右边文件)
    diff:逐字符比较文件的异同,配合cdiff,类似于github的显示效果
    curl/w3m/httpie:命令行下进行网络请求
    iconv:文件编码转换,如:iconv -f GB2312 -t UTF8 1.csv > 2.csv
    seq:产生连续的序列,配合for循环使用

  • 批量操作

    shell中一些批量操作的命令:
    if条件判断:
    if [ -d based];thenmkdirp{base_d};
    fi

while循环:
while
do
do_something;
done

for循环:
for x in *.log.gz;
do
gzip -d ${x};
done

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

linux shell的常用命令

  • 2014-07-21 22:37
  • 2.78MB
  • 下载

linux shell常用命令大全

  • 2011-03-07 09:58
  • 278KB
  • 下载

Linux Shell sort排序常用命令

1 sort的工作原理   sort将文件的每一行作为一个单位,相互比较,比较原则是从首字符向后,依次按ASCII码值进行比较,最后将他们按升序输出。 [rocrocket@rocr...

Linux Shell常用命令总结

转自:http://www.cnblogs.com/stephen-liu74/archive/2011/11/07/2202034.html 1.   find        f...

Linux Shell及常用命令简介

一、文件目录类命令1、 查看联机帮助信息man 命令 如:#man ls info 命令 如:#info cd2、列出当前目录或指定目录的文件名和目录名ls [选项] 文件或目录 常用[选项]如...

Linux Shell常用命令及技巧

(一).  命          令:   alias 功能说明:设置指令的别名。 语  法:alias[别名]=[指令名称] 补充说明:用户可利用alias,自定指...

Linux Shell常用命令总结

1.   find        find pathname -options [-print -exec -ok]        让我们来看看该命令的参数: &#...

Linux Shell常用命令总结

1.   find        find pathname -options [-print -exec -ok]        让我们来看看该命令的参数: &#...

linux shell 常用命令

linux 命令区分大小写 pstree    进程树 uname -a  查看linux内核版本号 shell     查看linux内核版本号 ctrl + alt +F1-F6  字符界...

Linux shell的常用命令

常用shell命令: 1.电源管理命令: poweroff  :关机 reboot    :重启 shutdown  :关机或重启,常用参数为-h和-r 格式:shutdown 【】.....
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)