Shell 常用命令、基本用法总结

Filter

Filter 常用于从大量文本、数据中提取需求的部分。下面介绍几个常用的 filter 命令。

cut

$ cut -c 5-8 textfile.txt       # 切出 textfile.txt 中每行的第 5 到第 8 个 character
$ cut -f2-4 -d',' textfile.txt  # 切出 textfile.txt 中每行的第 2 到第 4 块 field，field 由 delimiter “,” 确定
$ cut -f2,4 -d'|' textfile.txt  # 切出 textfile.txt 中每行的第 2 、第 4 块 field, field 由 delimiter “|” 确定

uniq

$ sort | uniq -c    # aggregation （带 count），类似 SQL 中的 GROUPBY

egrep

$ egrep -o <pattern> textfile.txt   # 只返回 match pattern 的部分
$ egrep -x <pattern> textfile.txt   # 只有文件的某行 (line) fully match pattern 的时候才返回
$ egrep -w <pattern> textfile.txt   # 只有文件的某字 (word) fully match pattern 的时候才返回

wc

$ wc -l textfile.txt        # 返回行数计数
$ wc -m textfile.txt        # 返回char计数
$ wc -w textfile.txt        # 返回word计数

tr

$ tr  <srcChars> <destChars>    # 将输入字符中含有 srcChars 的字符对应替换成 destChars
$ tr  'a-z' 'A-Z'               # 将输入字符的小写字母转为大写
$ tr -d ' '                     # 删除输入字符中所有的空格
$ tr -cs 'a-zA-Z0-9' '\n'       # 切出在 SET 'a-zA-Z0-9' 中的连续字符，并按行输出

sed

$ sed 's/regex/replacement/ig'  # 将 match regex 的部分全部替换成 replacement

cat

$ cat >new_textfile.txt<<eof    # 新建并从 stdin 按行写入文件 new_textfile.txt，直到遇到 eof 结束
$ cat >>new_textfile.txt<<eof   # 从 stdin 按行连接写入文件 new_textfile.txt，直到遇到 eof 结束

---

Shell Script 入门

介绍 Shell 的一些常识和基本用法。

准备工作

Shell 脚本文件头

#!/bin/bash     # 告诉 Linux 该文件用 bash 运行

可执行模式

$ chmod +x shell_script.sh  # 修改 shell_script.sh 为可执行文件

常用命令

SSH

远程连接服务器（以 AWS 为例）
如果要连接 AWS， 需要联系管理员拿到私钥文件（扩展名为 .pem）。

$ ssh -i "private-key.pem" user_name@domain_name

如果想在 AWS 上运行 jupyter，tensorboard 等任务，可以使用 local forwarding 功能，将本地操作转发到远端服务器：

$ ssh -i "private-key.pem" <local-port>:127.0.0.1:<remote-port> user_name@domain_name

STDIN

$ read a_str_variable       # 从 stdin 读取字符串存入 a_str_variable 变量
$ read -t 3 a_str_variable  # 3s 内无输入则退出（返回值 142）
$ read -s a_str_variable    # 不显示输入字符，输入密码等机密信息时使用
$ read -p "Name? "          # 相当于 Python 中的 input("Name? ")
$ read -r a_str_variable    # 当输入的字符中含 “\” （反斜杠）时，保留 “\”。如果没有设置 -r，则反斜杠都会被 “吃掉”
                            # 参考：https://unix.stackexchange.com/questions/18886/why-is-while-ifs-read-used-so-often-instead-of-ifs-while-read/18936#18936

STDOUT

$ echo string

图片转换

$ convert original_image.png converted_image.jpg    # 图片格式转换，支持格式：jpg, png, gif, bmp, tif
$ convert -gravity south \              # 设置 draw text 的位置
              -pointsize 36 \           # 设置字体大小
              -draw "text 0,10 'Hello world'" original_image.jpg converted.jpg

文件搜索

$ find                          # 递归输出当前目录及其下所有文件或子目录，相当于`find . -print`
$ find dir                      # 递归输出dir 目录及其下所有文件或子目录
$ find dir -type f              # 递归输出dir 目录下的所有文件
$ find dir -type d              # 递归输出dir 目录及其下的所有子目录
$ find dir -name '*s2_COMP9041' # 递归输出dir 目录下所有符合通配符 `*s2_COMP9041` 的文件名或目录名（*此处不匹配斜杠/）
$ find dir -iname '*s2_comp9041'# 递归输出dir 目录下所有符合通配符 `*s2_comp9041` 的文件名或目录名（*此处不匹配斜杠/）（case insensitive）
$ find dir -path '*.sh'         # 递归输出dir 目录下所有符合通配符 `*.sh` 的文件路径或目录路径（*此处匹配斜杠/）
$ find dir -ipath '*.SH'        # 递归输出dir 目录下所有符合通配符 `*.sh` 的文件路径或目录路径（*此处匹配斜杠/）（case insensitive）
$ find dir -path '*.sh' \       # <或>操作
           -or -path '*.pl' \
           -or -path '*.py'
$ find dir -not -name '*.sh' \  # <非>操作
           -type f
$ find dir -path '*.tmp' \      # <与>操作
           -type f -delete      # 递归删除dir 目录下所有路径符合通配符 `*.tmp` 的文件
$ find dir -name '*s2_COMP9041'\# 递归遍历dir 目录下所有
           -type d \            # 的目录名
           -prune               # 如果目录名符合通配符 `'*s2_COMP9041'`，该目录下所有内容都被忽略
           -print               # 并输出（该选项可省略）
$ find dir -name '*s2_COMP9041'\# 递归遍历dir 目录下所有
           -type d \            # 的目录名
           -prune               # 如果目录名符合通配符 `'*s2_COMP9041'`，该目录下所有内容都被忽略
           -or -print           # 输出其它未被忽略的目录及文件

# 有时可能仅仅需要排除目录，而非连同该目录下的所有文件。此时需要用到 -depth 选项
$ find dir -depth \             # 规定遍历顺序：遇到目录时，先列出目录中的文件，再列出目录自己
           -name '*s2_COMP9041'\# 递归遍历dir 目录下所有
           -type d \            # 的目录名
           -prune               # 如果目录名符合通配符 `'*s2_COMP9041'`，该目录下所有内容都被忽略
           -or -print           # 输出其它未被忽略的目录及文件
# 参考：https://math2001.github.io/post/bashs-find-command/

条件判断

#!/bin/bash

# 参数个数检查
if test $# -ne 2    
# 或 if [ $# -ne 2 ]
# 或 if (( $# != 2 ))
then 
  echo Usage: "$0": '<non-negtive_int> <string>'
  exit 1
fi

# 参数类型检查
if test $1 -ge 0
# 或 if [ $1 -ge 0 ]
then 
  :
else
  echo "$0": argument 1 must be a non-negtive integer!
  exit 2
fi

# 程序逻辑开始...

for Loop

# 遍历当前目录中的所有文件名
## Version 1 ## 不包括隐藏文件 ##
$ shopt -u dotglob
$ for filename in *
> do echo $filename
> done

## Version 2 ## 包括隐藏文件 ##
$ shopt -s dotglob
$ for filename in *
> do echo $filename
> done

## 根据 argument 输入的目录路径 `important_files/*` 遍历其中（包括子目录）所有的文件
# Input: $ readfile.sh important_files/*
$ for paths in "$@" # 注意！ 1.不是$1 2.Add double quotes
> do 
>   find $paths -type f -print0 |
>   while read -d $'\0' path
>   do echo $path
>   done
> done

# 类似 C语言 的用法
$ begin=0; end=5; step=1
$ for ((i=$begin; ((i < $end)); ((i += $step)) ))
> do echo $i
> done

# write files from arguments by line with line number
line_no=0
for word in "$@"
do
  ((line_no+=1))
  echo $line_no $word
done > filepath

while Loop

# 类似 C语言 的用法
$ begin=0; end=5; step=1
$ i=$begin
$ while test $i -lt $end <OR> while [ $i -lt $end ] <OR> while (( i < end ))
> do echo $i
>    (( i+=step ))
> done

# read files by line
while read line
do
  echo $line
done < filepath

sh

$ sh -x your_shell_script.sh    # 用于追踪程序流，debug 时很实用

一些细节

Silence

$ egrep 'regex' filename.txt >/dev/null 2>&1    # >/dev/null —— stdout(1) 被扔到 /dev/null
                            # >2>&1      —— stderr(2) 跟着 stdout(1) 走
                            # 总结：不在屏幕上打印 stdout 和 stderr

引号问题，date 用法，图片处理

# 实际应用：给图片打tag
$ date_time=`date "+%H:%M %d %b,%Y"`
$ convert -draw "text 0,0 '$date_time'" oringal.jpg tagged.jpg

Linux 文件名相关问题

文件名以 “-” 开头

$ mv -- filename(以‘-’开头) newfilename        # -- 表示下一个参数不会是 Option（必须是文件名）

文件名中绝对不能包含的字符

['/', '\0']

文件名大小写敏感

$ touch important_file.db Important_File.Db IMPORTANT_FILE.DB
$ ls
important_file.db Important_File.Db IMPORTANT_FILE.DB

转载于:https://www.cnblogs.com/LexLuc/p/9460304.html