Shell命令汇总

R&Y

已于 2022-06-18 22:46:19 修改

阅读量6.7k

点赞数 5

分类专栏： linux 文章标签： linux bash

于 2021-01-18 01:25:37 首次发布

本文链接：https://blog.csdn.net/qq_34226628/article/details/111145677

版权

linux 专栏收录该内容

5 篇文章 1 订阅

订阅专栏

shell set -euxo pipefail命令

系统篇

查看系统剩余空间

Linux服务器要经常查看空间剩余情况，以免突然程序不能上传更新去查找问题而耽误太多时间。

1.查看当前文件夹下有多少文件，查看当前目录下的文件和文件夹数。
ls |wc -l

2.查看系统整体空间剩余情况，查看系统的分配，已使用和可用情况。
df -h

3.查看每个文件夹的占用情况，可以查看当前路径下的每个文件夹的大小，因此快速定位大文件所存在的位置。
查询当前目录总大小
du -sh

查询当前目录下所有子目录总大小，* 指所有目录，如果只要查询某个目录 替换掉*即可。
du -sh * 

4.查询当前目录下所有子目录总大小 并按大小排序
du -sh * | sort -nr

筛选出前15条
du -sh * | sort -nr | head -n 15
筛选内容含G字符的
du -sh * | sort -nr | grep G
正则表达式筛选内容含G字符的
du -sh * | sort -nr | egrep ^[0-9]*G.*


du参数解释
-h或–human-readable 以K，M，G为单位，提高信息的可读性
-s或–summarize 仅显示总计，即当前目录的大小。

统计篇

shell wc命令

统计文件里面有多少单词，多少行，多少字符。

wc语法
wc [-lwm]
选项与参数：
-l  ：仅列出行；
-w  ：仅列出多少字(英文单字)；
-m  ：多少字符；
 
默认使用wc统计/etc/passwd
#wc /etc/passwd
40   45 1719 /etc/passwd
40是行数，45是单词数，1719是字节数
 
wc的命令比较简单使用，每个参数使用如下：
#wc -l /etc/passwd   #统计行数，在对记录数时，很常用
40 /etc/passwd       #表示系统有40个账户
#wc -w /etc/passwd  #统计单词出现次数
45 /etc/passwd
#wc -m /etc/passwd  #统计文件的字节数
1719

查找篇

shell find命令

常用形式
find [path...][expression]
 
[path]：find 命令查找的目录路径，其中 ./ 表示当前目录，/ 表示系统根目录
[expression]：可以分为
 
-options [-print -exec -ok ...]
options：指定 find 命令的常用选项
print：find 命令将匹配的文件输出到标准输出
exec：find 命名对匹配的文件执行该参数所给出的 shell 命令
ok：与 -exec 类似，只不过在执行每一个命令之前都会给出提示，让用户决定是否执行

-name <表达式>：根据文件名查找文件
-iname <表达式>：根据文件名查找文件，忽略大小写
-path <表达式>：根据路径查找文件
-ipath <表达式>：根据路径查找文件，忽略大小写
-amin <分钟>：过去N分钟内访问过的文件
-atime <天数>：过去N天内访问过的文件
-cmin <分钟>：过去N分钟内修改过的文件
-ctime <天数>：过去N天内修改过的文件
-newer <参照文件>：
-anewer <参照文件>：比参照文件更晚被读取过的文件
-cnewer <参照文件>：比参照文件更晚被修改过的文件
-size <大小>：根据文件大小查找文件，单位b c w k M G
-type <文件类型>：根据文件类型查找文件。b 块设备 c 字符设备 d 目录 p 管道文件 f 普通文件 l 符号链接文件 s 端口文件
-user <用户名>：按归属用户查找文件
-uid <uid>：按UID查找文件
-group <群组名>：按归属群组查找文件
-gid <gid>：按GID查找文件
-empty：查找空文件
-mtime -n +n：按照文件的更改时间来查找文件，-n 表示文件更改时间在 n 天之内，+n 表示文件更改时间在 n 天之外。

1.实战

从根目录开始查找所有扩展名为.log的文本文件，并找出包含”ERROR”的行
find / -type f -name "*.log" | xargs grep "ERROR"
 
系统查找到httpd.conf文件后即时在屏幕上显示httpd.conf文件信息
find/-name"httpd.conf"-ls
 
在根目录下查找某个文件
find . -name "test"
 
在当前目录和子目录下查找某个文件
find ./ -type d

查找大小为 n 的文件，末尾带有 c 时表示文件大小以字节计，带 k 时表示文件大小以 KB 计，以此类推，查找当前目录下大小大于10k的文件
find ./ -size +10000c

find 与 xargs 搭配，xargs 与 -exec 类似，对 find 命名匹配的文件执行该参数所给出的 shell 命令，并且效率更高
find -type f -name '*.php'|xargs grep 'GroupRecord'

查找当前目录下所有文件并输出文件类型
find . -type f -print | xargs file 

查找当前目录下所有txt文件并将结果输出到txt.log文件,一行输出一个结果
find . -name "*.txt" -print | xargs -n1 > /e/txt.log

查找当前目录下的所有文件并在这些文件中搜索add_experience并将结果输出到文件
find . -type f | xargs grep "add_experience" > /f/add_experience.txt

删除文件大小为0的文件
find ./ -size 0 | xargs rm -f

查找在当前目录下2天内修改的文件
find ./ -mtime -2
删除3天以前的所有文件和文件夹
find ./ -mtime +3 -print | xargs rm -f -r


查找比文件 file1 新（即更改时间晚）的文件
查找当前目录下比1.txt新的文件
find ./ -newer 1.txt

2.正则表达式

元字符	功能	例子	匹配什么

shell grep 命令

grep 是一种强大的文本搜索工具，它能使用正则表达式搜索文本，并把匹配的行打印出来。

grep命令是Globally search a Regular Expression and Print的缩写，表示进行全局的正则匹配并进行打印。grep的相关扩展命令包括egrep和fgrep，其中egrep支持更多的正则匹配，fgrep只进行字符的匹配，不支持正则表达式。

grep用法说明
grep [option] "pattern" filename
grep [OPTIONS] [-e PATTERN | -f FILE] [FILENAME...]

option 常见选项
 -c：只输出匹配行的计数
 -i：不区分大小写（只适用与单字符）
 -n：显示匹配行及行号
 -s：不显示不存在或无匹配文本的错误信息
 -v：显示不包含匹配文本的所有行,即与-o 相反 
 -o：只显示文件中匹配到的部分
 -A3：将匹配之后的3行展示出来
 -B3：将匹配之前的3行展示出来
 -f: 指定需要匹配的文件
 -l：列出匹配的文件清单
 -L：列出不匹配的文件清单
 -r：递归查找
 -R：查找所有文件包含子目录
 -*: 表示当前目录所有文件，也可以是某个文件名
 -\< 和 \>：分别标注单词的开始与结尾。
 -'^'：指匹配的字符串在行首
 -'$'：指匹配的字符串在行尾

pattern：要搜索的关键字或正则表达式语句

1.实战：

查找1.txt中存在aaa的行，并输出行号
grep -n "aaa" 1.txt

搜索aaa开头的行
grep -n '^aaa' 1.txt

搜索至少包含连续3个a的行
grep -n 'a\{3,\}' 1.txt

搜索包含aaa或者daa的行
grep -n '[ad]aa' 1.txt

从文件内容查找匹配指定字符串的行
grep "被查找的字符串" 文件名

从文件内容查找与正则表达式匹配的行
grep –e “正则表达式” 文件名

查找时不区分大小写，默认情况区分大小写
grep –i "被查找的字符串" 文件名

查找匹配的行数
grep -c "被查找的字符串" 文件名

从文件内容查找不匹配指定字符串的行
grep –v "被查找的字符串" 文件名

在某个目录下查找包含某个字符串的文件
grep -r "zh_CN" ./

只匹配整个单词，而不是字符串的一部分（如匹配‘magic’，而不是‘magical’）
grep -w pattern files

显示匹配 pattern1 或 pattern2 的行
grep pattern1 | pattern2 files

显示既匹配 pattern1 又匹配 pattern2 的行
grep pattern1 files | grep pattern2 

已经grep man * 会匹配 ‘Batman’、‘manic’、‘man’等
假如想匹配‘manic’和‘man’，但不是‘Batman’
grep '\<man' * 

假如想匹配‘man’，而不是‘Batman’或‘manic’等其他的字符串
grep '\<man\>' *

案例说明

原始文件file.txt如下所示
abcdefg
abcdefg
1234567
1234567
only_one
abcdefg1234567
abcdefg1234567
abcdefgh12345678
abcdefgh12345678
abcdefh1234568
abcdefh1234568
aaabbb111222
aaaabbbb11112222

匹配指定内容并且打印出行号
grep -n 'abcdefg123' file.txt
6:abcdefg1234567
7:abcdefg1234567

将匹配行的前一行和后一行内容都打印出来
grep -A1 -B1 -n 'abcdefg123' file.txt
5:only one
6:abcdefg1234567
7:abcdefg1234567
8:abcdefgh12345678

匹配abcdefg123456或者abcdefh123456的行
grep 'abcdef[gh]123456' -n file.txt
6:abcdefg1234567
7:abcdefg1234567
10:abcdefh1234568
11:abcdefh1234568

找到a开头，8结尾的行
grep '^a.*8$' -n file.txt
8:abcdefgh12345678
9:abcdefgh12345678
10:abcdefh1234568
11:abcdefh1234568

找到a出现3到5次的行
grep 'a\{3,5\}' -n file.txt 或者 egrep 'a{3,5}' -n file.txt
12:aaabbb111222
13:aaaabbbb11112222


匹配1111或者aaaa的行
egrep 'aaaa|1111' -n file.txt 或者 grep 'aaaa\|1111' -n file.txt
13:aaaabbbb11112222

匹配指定文件中的行
grep -f re_file.txt -n file.txt
6:abcdefg1234567
7:abcdefg1234567
10:abcdefh1234568
11:abcdefh1234568
13:aaaabbbb11112222

2.正则表达式

元字符	功能	例子	匹配什么
^	锚定行的开始	/^love/	匹配所有以love开头的行
$	锚定行的结束	/love$/	匹配所有以love 结束的行
.	匹配一个字符	/l..e/	匹配这样的行，这些行包含这样的字符：第一个字符是l,紧跟着两个字符，然后是e
*	代表0个或多个先前字符	/*love/	匹配所有这样的行，有0个或多个空格，空格后跟着love
[]	匹配字符组中的一个字符	/[Ll]ove/	匹配所有包含love或者Love的行
[^]	匹配一个不在范围内的字符	/[^A-Z]ove/
<	锚定单词的开始	<love	匹配所有这样的行，这些行包含以love开头的单词（vi和grep支持这个功能）
>	锚定单词的结束	Love>	匹配所有这样的行，这些行包含以love结束的单词（vi和grep支持这个功能）
(..)	标记后面用到的匹配字符	/(love)able1rs/	最多可以使用9个标签。第一个标签是模板最左边的部分。在本例子中，模板love保存的标签为1，后面的1指得就是love；本例子搜索的是这样的行，这些行包含这样的字符，在Loveabel后面跟着lovers
x{m}	M次复制字符x
x{m,}	至少m次复制字符x
x{m,n}	至少m次，至多n次复制字x
w	文字和数字字符，[A-Za-z0-9]	Lw*e	匹配一个L字符，紧跟着0个或多个文字或数字字符，然后是e
W	同上
b	单词分界线	bloveb	仅仅匹配单词love

shell whereis命令

linux下查找某个文件位置的方法
whereis <程序名称>
查找软件的安装路径
-b 只查找二进制文件
-m 只查找帮助文件
-s 只查找源代码
-u 排除指定类型文件
-f 只显示文件名
-B <目录> 在指定目录下查找二进制文件
-M <目录> 在指定目录下查找帮助文件
-S <目录> 在指定目录下查找源代码
 
locate <文件名称>
在文件索引数据库中搜索文件
-d <数据库路径> 搜索指定数据库
updatedb
更新文件索引数据库

Shell 对比两个文本文件找出不同行

分别使用comm命令法、grep命令法实现
comm命令法

命令如下：comm -3 file1 file2
有一个问题就是，如果两个文件排序不一样的话，会出问题。

grep命令法

命令如下：grep -vwf file1 file2

统计file1中没有，file2中有的行

炫技篇

shell set -euxo pipefail命令

# set is used to set the environment variables.
#  -e: exit immediately when a command returning a non-zero exit code.
#  -u: treat unset variables as an error.
#  -o pipefail: sets the exit code of a pipeline to that of the rightmost command to exit with a non-zero status,
#       or to zero if all commands of the pipeline exit successfully.

粗略解释
set -e 表示一旦脚本中有命令的返回值为非0，则脚本立即退出，后续命令不再执行;

set -o pipefail表示在管道连接的命令序列中，只要有任何一个命令返回非0值，则整个管道返回非0值，即使最后一个命令返回0.

【总结】：bash脚本被当作高级语言应用默认的不会开启安全认证（类似其他语言，变量不存在会报错，bash默认不会）。

为了让我们的脚本更安全通常我们会使用‘set -euxo pipefail'。

set -euxo pipefail 的功能为：

-e 即当一个命令失败时，立即退出。如果你不想立即退出则可用 || true

$ cat try_bash.sh 
#!/bin/sh
set -e
test_sete(){
  # invalid command
  ddd
}

test_sete || true
echo "---> continuly"

---执行shell脚本
$ ./try_bash.sh 
./try_bash.sh: line 5: ddd: command not found
---> continuly

剔除后

$ sed -i 's/|| true//' try_bash.sh 
$ cat try_bash.sh 
#!/bin/sh
set -e
test_sete(){
  # invalid command
  ddd
}

test_sete 
echo "---> continuly"

---执行shell脚本
$ ./try_bash.sh 
./try_bash.sh: line 5: ddd: command not found

-u 即遇到未定义的变量，报错并立即退出。

$ cat try_bash_u.sh 
#!/bin/sh
set -u
test_setu(){
  # invalid command
  echo ${1}
}
test_setu ${1}
echo "---> continuly"

---执行shell脚本
$ ./try_bash_u.sh testing
testing
---> continuly

---执行shell脚本
$ ./try_bash_u.sh 
./try_bash_u.sh: line 7: 1: unbound variable

-x 即在执行每一个command之前打印出来。这个对于debug脚本非常有用，可具体看到在执行那一步遇到的问题。但是所有的参数也都会相应的在执行脚本以明文形式输出。

--执行shell脚本
$ ./try_bash_x.sh testing
+ test_setu testing
+ echo testing
testing
+ echo '---> continuly'
---> continuly

-E 即'trap'用来在一个脚本中捕捉某些信号。除了一些常见的信号，'trap'可以用来捕捉一些特定信号，像EXIT，DEBUG， RETURN，ERR等。没有 -E，trap会不总是能捕捉信号。如果出现'trap'捕获不到的情况，可以使用该参数。如果捕捉信号正常，则可以忽略该参数。

$ cat try_bash_E.sh 
#!/bin/bash
set -E
 
trap "echo ERR trap fired!" ERR
 
myfunc()
{
  # 'foo' is a non-existing command
  foo
}
 
myfunc
echo "bar"

--执行shell脚本
$ ./try_bash_E.sh 
./try_bash_E.sh: line 9: foo: command not found
ERR trap fired!
ERR trap fired!
bar

--剔除后
$ sed -i "s/set -E//" try_bash_E.sh

--再执行shell脚本
$ ./try_bash_E.sh 
./try_bash_E.sh: line 9: foo: command not found
ERR trap fired!
bar

-o pipefail 即在运行脚本时，通常我们只看最后一个命令的退出码。例如'invalid_command || echo "invalid command"'，我们获得退出码为0，因为我们获得整个管道的最后一个命令。

加上-o pipefail，则会根据整个管道链的退出码来判断，只有所有退出码为0，退出码才会为0。

$ cat try_bash_o.sh 
#!/bin/bash
set -e -o pipefail
# 'foo' is a non-existing command
foo | echo "a"
echo "bar"

--执行shell脚本
$ ./try_bash_o.sh 
a
./try_bash_o.sh: line 5: foo: command not found
$ echo $?
127

剔除后

$ sed -i 's/-o pipefail//' try_bash_o.sh

--执行shell脚本
$ ./try_bash_o.sh 
a
./try_bash_o.sh: line 5: foo: command not found
bar
$ echo $?
0

shell 生成随机码值编码

shell的函数，只能返回0、1。所以要返回内容只能 echo写入到文件中。

#!/bin/bash
#生成随机码值,性别,年龄,电话,姓名,日期,分数和对应等级,并生成insert语句
#作者AiYS,2018-02-06,转载请注明http://www.cnblogs.com/AiYS/p/8424334.html

#随机码值,性别和年龄
function random_id {
#证件前6位地区码集合
area_code_collection=($(awk '{print $1}' area_code.txt))
#从地区码集合中随机取一个地区码
area_code=${area_code_collection[$(shuf -i 0-3513 -n 1)]}
#随机生成生日
birthday=$(date +"%Y%m%d" -d "-$(shuf -i 1000-15000 -n 1) days")
#计算当前年份
current_year=$(date +"%Y%m%d" | cut -c 1-4)
#计算生成的码值的年份
id_year=$(echo ${birthday} | cut -c 1-4)
#根据当前年份和码值年份计算年龄
age=$((${current_year}-${id_year}))
#随机生成证件15-17的3位顺序码,但是不知范围暂定400
seq=$(shuf -i 100-400 -n 1)
#根据证件第17位判断性别,奇男偶女
gender_num=$(echo ${seq} | cut -c 3)
[ $((gender_num%2)) -eq 0 ] && gender="F" || gender="M"
#用数组保存码值前17位的每一位
for ((i=0,j=1;i<17;i++,j++))
do
array[$i]=$(echo ${area_code}${birthday}${seq} | cut -c $j)
done
sum=0
#用字典保存取模11后余数对映的第18位映射关系
declare -A checkcode_map
checkcode_map=(["0"]="1" ["1"]="0" ["2"]="X" ["3"]="9" ["4"]="8" ["5"]="7" ["6"]="6" ["7"]="5" ["8"]="5" ["9"]="3" ["10"]="2")
#前17位对应的权重值
coefficient=(7 9 10 5 8 4 2 1 6 3 7 9 10 5 8 4 2)
#前17位乘以对应的权重求和
for ((i=0;i<17;i++))
do
sum=$((${sum}+${array[$i]}*${coefficient[$i]}))
done
#和取模11
map=$((sum%11))
#生成第18位校验码
checkcode=${checkcode_map[$map]}
echo -e "${area_code}${birthday}${seq}${checkcode},${gender},${age}" >> id.txt
}

#生成随机电话号码
function random_tel {
pretel=(130 131 132 133 134 135 136 137 138 139 145 147 150 151 152 153 155 156 157 158 159 170 171 173 176 177 178 180 181 182 183 184 185 186 187 188 189)
echo ${pretel[$(shuf -i 0-36 -n 1)]}$(shuf -i 10000000-99999999 -n 1) >> tel.txt
}

#生成随机姓名
function random_name {
fname=(赵 钱 孙 李 周 吴 郑 王 冯 陈 褚 卫 蒋 沈 韩 杨 朱 秦 尤 许 何 吕 施 张 孔 曹 严 华 金 魏 陶 姜 戚 谢 邹 窦 章 云 苏 潘 葛 奚 范 彭 郎 鲁 韦 昌 马 苗 凤 花 方 俞 任 袁 柳 鲍 史 唐 费 廉 岑 薛 雷 贺 倪 汤 滕 殷 罗 毕 郝 安 常 乐 于 傅 齐 康 伍 余 元 顾 孟 平 黄 穆 萧 尹 姚 邵 湛 汪 祁 毛 禹 狄 戴 谈 宋 茅 庞 熊 纪 舒 屈 项 祝 董 梁 杜 阮 蓝 闵 席 季 贾 江 童 颜 郭 梅 盛 林 徐 邱 骆 高 夏 蔡 田 樊 胡 凌 霍 虞 万 柯 管 卢 莫 解 宗 丁 邓 单 洪 包 石 崔 吉 钮 龚 程 嵇 邢 裴 陆 荀 羊 甄 麴 封 芮 羿 储 靳 邴 糜 松 段 伊 刘 景 龙 叶 白 赖 卓 蔺 屠 乔 阳 闻 党 翟 谭 姬 申 郦 牛 扈 燕 温 晏 柴 瞿 阎 习 向 古 廖 寇 聂 晁 曾 司马 上官 欧阳 夏侯 诸葛 东方 赫连 皇甫 尉迟 公羊 澹台 公孙 轩辕 令狐 钟离 宇文 长孙 慕容 司徒 完颜)
lname=($(awk '{print $1}' lname.txt))
echo ${fname[$(shuf -i 0-226 -n 1)]}${lname[$(shuf -i 0-2810 -n 1)]}${lname[$(shuf -i 0-2810 -n 1)]} >> name.txt
}

#生成随机日期和时间
function random_time {
echo "$(date +"%Y-%m-%d" -d "-$(shuf -i 365-10000 -n 1) days"),$(date +"%Y-%m-%d %H:%M:%S" -d "-$(shuf -i 5000-12000 -n 1) days")" >> date.txt
}

#生成随机的分数和对应的等级
function random_score {
integer=$(shuf -i 40-99 -n 1)
#decimal=$(tr -dc 0-9 </dev/urandom | head -c 2)两位随机小数
decimal=$(shuf -i 0-9 -n 1)
score="${integer}.${decimal}"
if [ ${integer} -gt 95 ];then
grade='S'
elif [ ${integer} -gt 85 ];then
grade='A'
elif [ ${integer} -gt 75 ];then
grade='B'
elif [ ${integer} -gt 65 ];then
grade='C'
else
grade='D'
fi
echo "${score},${grade}" >> score.txt
}

#删除之前生成的文件
function delete_file {
[ -f id.txt ] && $(rm id.txt) >/dev/null 2>&1
[ -f name.txt ] && $(rm name.txt) >/dev/null 2>&1
[ -f tel.txt ] && $(rm tel.txt) >/dev/null 2>&1
[ -f date.txt ] && $(rm date.txt) >/dev/null 2>&1
[ -f score.txt ] && $(rm score.txt) >/dev/null 2>&1
}

function generate_records {
read -p "需要生成多少条记录:" count
delete_file
if [ ${count} -lt 0 ];then
echo -e "输入错误!输入的数字小于1\n"
else
for ((m=0;m<${count};m++))
do
random_id
random_name
random_tel
random_time
random_score
#echo "生成第$m条记录"
done
fi
#合并生成的文件用,分隔字段
paste -d "," id.txt name.txt tel.txt date.txt score.txt > records.txt
delete_file
}

function sql {
[ -f student.sql ] && $(rm student.sql) > /dev/null 2>&1
#生成sql插入文件student.sql
outfile='student.sql'
IFS=","
while read id gender age name tel entrance examination score grade
do
cat >> ${outfile} << EOF
INSERT INTO student (id,name,gender,age,tel,entrance,examination,score,grade) VALUES ('${id}','${name}','${gender}',$age,'${tel}',${entrance},${examination},${score},'${grade}');
EOF
done < records.txt
}

generate_records
read -p "是否生成sql文件?y or n:" yn
[ "$yn" = "y" -o "$yn" = "Y" ] && sql || echo "Byebye

系统篇（孤陋寡闻版）

shell uname命令

uname命令用于打印当前系统相关信息（内核版本号、硬件架构、主机名称和操作系统类型等）。

shell uname命令
uname命令

uname命令用于打印当前系统相关信息（内核版本号、硬件架构、主机名称和操作系统类型等）。

语法

uname(选项)


选项
-a或--all：显示全部的信息；

-m或--machine：显示电脑类型；

-n或-nodename：显示在网络上的主机名称；

-r或--release：显示操作系统的发行编号；

-s或--sysname：显示操作系统名称；

-v：显示操作系统的版本；

-p或--processor：输出处理器类型或"unknown"； -i或--hardware-platform：输出硬件平台或"unknown"； -o或--operating-system：输出操作系统名称； --help：显示帮助； --version：显示版本信息。

实例

[root@localhost ~]# uname #单独使用uname命令时相当于uname -s

Linux

[root@localhost ~]# uname -a

Linux localhost 2.6.18-348.6.1.el5 #1 SMP Tue May 21 15:34:22 EDT 2013 i686 i686 i386 GNU/Linux

[root@localhost ~]# uname -m

i686

[root@localhost ~]# uname -n

localhost

[root@localhost ~]# uname -r

2.6.18-4-686

[root@localhost ~]# uname -s

Linux

[root@localhost ~]# uname -v

#1 SMP Tue May 21 15:34:22 EDT 2013

[root@localhost ~]# uname -p

i686

[root@localhost ~]# uname -i

i386

[root@localhost ~]# uname -o

GNU/Linux

[root@localhost ~]# uname --version

uname (GNU coreutils) 5.97 Copyright (C) 2006 free Software Foundation, Inc.

这是自由软件。您可以按照 GNU GPL 协议 的条款再发布此软件的副本，但我们无法保证相关法律不对这一情形进行限制。

shell curl命令

在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。

curl命令
在Linux中curl是一个利用URL规则在命令行下工作的文件传输工具，可以说是一款很强大的http命令行工具。它支持文件的上传和下载，是综合传输工具，但按传统，习惯称url为下载工具。


语法
curl [option] [url]
 

常见参数
-A/--user-agent <string>　　　　　　设置用户代理发送给服务器
-b/--cookie <name=string/file>    cookie字符串或文件读取位置
-c/--cookie-jar <file>            操作结束后把cookie写入到这个文件中
-C/--continue-at <offset>         断点续转
-D/--dump-header <file>           把header信息写入到该文件中
-e/--referer                      来源网址
-f/--fail                         连接失败时不显示http错误
-o/--output                       把输出写到该文件中
-O/--remote-name                  把输出写到该文件中，保留远程文件的文件名
-r/--range <range>                检索来自HTTP/1.1或FTP服务器字节范围
-s/--silent                       静音模式。不输出任何东西
-T/--upload-file <file>           上传文件
-u/--user <user[:password]>       设置服务器的用户和密码
-w/--write-out [format]           什么输出完成后
-x/--proxy <host[:port]>          在给定的端口上使用HTTP代理
-#/--progress-bar                 进度条显示当前的传送状态

不常见参数
-a/--append                        上传文件时，附加到目标文件
--anyauth                          可以使用“任何”身份验证方法
--basic                            使用HTTP基本验证
-B/--use-ascii                     使用ASCII文本传输
-d/--data <data>                   HTTP POST方式传送数据
--data-ascii <data>                以ascii的方式post数据
--data-binary <data>               以二进制的方式post数据
--negotiate                        使用HTTP身份验证
--digest                           使用数字身份验证
--disable-eprt                     禁止使用EPRT或LPRT
--disable-epsv                     禁止使用EPSV
--egd-file <file>                  为随机数据(SSL)设置EGD socket路径
--tcp-nodelay                      使用TCP_NODELAY选项
-E/--cert <cert[:passwd]>          客户端证书文件和密码 (SSL)
--cert-type <type>                 证书文件类型 (DER/PEM/ENG) (SSL)
--key <key>                        私钥文件名 (SSL)
--key-type <type>                  私钥文件类型 (DER/PEM/ENG) (SSL)
--pass  <pass>                     私钥密码 (SSL)
--engine <eng>                     加密引擎使用 (SSL). "--engine list" for list
--cacert <file>                    CA证书 (SSL)
--capath <directory>               CA目   (made using c_rehash) to verify peer against (SSL)
--ciphers <list>                   SSL密码
--compressed                       要求返回是压缩的形势 (using deflate or gzip)
--connect-timeout <seconds>        设置最大请求时间
--create-dirs                      建立本地目录的目录层次结构
--crlf                             上传是把LF转变成CRLF
--ftp-create-dirs                  如果远程目录不存在，创建远程目录
--ftp-method [multicwd/nocwd/singlecwd]    控制CWD的使用
--ftp-pasv                         使用 PASV/EPSV 代替端口
--ftp-skip-pasv-ip                 使用PASV的时候,忽略该IP地址
--ftp-ssl                          尝试用 SSL/TLS 来进行ftp数据传输
--ftp-ssl-reqd                     要求用 SSL/TLS 来进行ftp数据传输
-F/--form <name=content>           模拟http表单提交数据
-form-string <name=string>         模拟http表单提交数据
-g/--globoff                       禁用网址序列和范围使用{}和[]
-G/--get                           以get的方式来发送数据
-h/--help                          帮助
-H/--header <line>                 自定义头信息传递给服务器
--ignore-content-length            忽略的HTTP头信息的长度
-i/--include                       输出时包括protocol头信息
-I/--head                          只显示文档信息
-j/--junk-session-cookies          读取文件时忽略session cookie
--interface <interface>            使用指定网络接口/地址
--krb4 <level>                     使用指定安全级别的krb4
-k/--insecure                      允许不使用证书到SSL站点
-K/--config                        指定的配置文件读取
-l/--list-only                     列出ftp目录下的文件名称
--limit-rate <rate>                设置传输速度
--local-port<NUM>                  强制使用本地端口号
-m/--max-time <seconds>            设置最大传输时间
--max-redirs <num>                 设置最大读取的目录数
--max-filesize <bytes>             设置最大下载的文件总量
-M/--manual                        显示全手动
-n/--netrc                         从netrc文件中读取用户名和密码
--netrc-optional                   使用 .netrc 或者 URL来覆盖-n
--ntlm                             使用 HTTP NTLM 身份验证
-N/--no-buffer                     禁用缓冲输出
-p/--proxytunnel                   使用HTTP代理
--proxy-anyauth                    选择任一代理身份验证方法
--proxy-basic                      在代理上使用基本身份验证
--proxy-digest                     在代理上使用数字身份验证
--proxy-ntlm                       在代理上使用ntlm身份验证
-P/--ftp-port <address>            使用端口地址，而不是使用PASV
-Q/--quote <cmd>                   文件传输前，发送命令到服务器
--range-file                       读取（SSL）的随机文件
-R/--remote-time                   在本地生成文件时，保留远程文件时间
--retry <num>                      传输出现问题时，重试的次数
--retry-delay <seconds>            传输出现问题时，设置重试间隔时间
--retry-max-time <seconds>         传输出现问题时，设置最大重试时间
-S/--show-error                    显示错误
--socks4 <host[:port]>             用socks4代理给定主机和端口
--socks5 <host[:port]>             用socks5代理给定主机和端口
-t/--telnet-option <OPT=val>       Telnet选项设置
--trace <file>                     对指定文件进行debug
--trace-ascii <file>               Like --跟踪但没有hex输出
--trace-time                       跟踪/详细输出时，添加时间戳
--url <URL>                        Spet URL to work with
-U/--proxy-user <user[:password]>  设置代理用户名和密码
-V/--version                       显示版本信息
-X/--request <command>             指定什么命令
-y/--speed-time                    放弃限速所要的时间。默认为30
-Y/--speed-limit                   停止传输速度的限制，速度时间'秒
-z/--time-cond                     传送时间设置
-0/--http1.0                       使用HTTP 1.0
-1/--tlsv1                         使用TLSv1（SSL）
-2/--sslv2                         使用SSLv2的（SSL）
-3/--sslv3                         使用的SSLv3（SSL）
--3p-quote                         like -Q for the source URL for 3rd party transfer
--3p-url                           使用url，进行第三方传送
--3p-user                          使用用户名和密码，进行第三方传送
-4/--ipv4                          使用IP4
-6/--ipv6                          使用IP6

1.实战

基本用法

curl http://www.linux.com
执行后，www.linux.com 的html就会显示在屏幕上了
Ps：由于安装linux的时候很多时候是没有安装桌面的，也意味着没有浏览器。
因此这个方法也经常用于测试一台服务器是否可以到达一个网站

[root@localhost tmp]# curl http://www.linux.com
<html>
<head><title>301 Moved Permanently</title></head>
<body>
<center><h1>301 Moved Permanently</h1></center>
<hr><center>nginx</center>
</body>
</html>


保存访问的网页

使用linux的重定向功能保存

curl http://www.linux.com >> linux.html
 

可以使用curl的内置option:-o(小写)保存网页

curl -o linux.html http://www.linux.com

#执行完成后会显示如下界面，显示100%则表示保存成功
% Total    % Received % Xferd  Average Speed  Time    Time    Time  Current
                                Dload  Upload  Total  Spent    Left  Speed
100 79684    0 79684    0    0  3437k      0 --:--:-- --:--:-- --:--:-- 7781k
 

可以使用curl的内置option:-O(大写)保存网页中的文件；
要注意这里后面的url要具体到某个文件，不然抓不下来

curl -O http://www.linux.com/hello.sh
 

测试网页返回值

curl -o /dev/null -s -w %{http_code} www.linux.com
Ps:在脚本中，这是很常见的测试网站是否正常的用法

 

指定proxy服务器以及其端口

很多时候上网需要用到代理服务器(比如是使用代理服务器上网或者因为使用curl别人网站而被别人屏蔽IP地址的时候)，幸运的是curl通过使用内置option：-x来支持设置代理

curl -x 192.168.100.100:1080 http://www.linux.com
 

cookie

有些网站是使用cookie来记录session信息。
对于chrome这样的浏览器，可以轻易处理cookie信息，
但在curl中只要增加相关参数也是可以很容易的处理cookie

保存http的response里面的cookie信息。内置option:-c（小写）；执行后cookie信息就被存到了cookiec.txt里面了

curl -c cookiec.txt  http://www.linux.com
 

保存http的response里面的header信息。内置option: -D；执行后cookie信息就被存到了cookied.txt里面了

curl -D cookied.txt http://www.linux.com
PS：-c(小写)产生的cookie和-D里面的cookie是不一样的。

 

使用cookie

很多网站都是通过监视你的cookie信息来判断你是否按规矩访问他们的网站的，因此我们需要使用保存的cookie信息。内置option: -b

curl -b cookiec.txt http://www.linux.com
 

模仿浏览器

有些网站需要使用特定的浏览器去访问他们，有些还需要使用某些特定的版本。curl内置option:-A可以让我们指定浏览器去访问网站；这样服务器端就会认为是使用IE8.0去访问的

curl -A "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 5.0)" http://www.linux.com
 

伪造referer（盗链）

很多服务器会检查http访问的referer从而来控制访问。比如：你是先访问首页，然后再访问首页中的邮箱页面，这里访问邮箱的referer地址就是访问首页成功后的页面地址，如果服务器发现对邮箱页面访问的referer地址不是首页的地址，就断定那是个盗连了；

curl中内置option：-e可以让我们设定referer；这样就会让服务器其以为你是从www.linux.com点击某个链接过来的

curl -e "www.linux.com" http://mail.linux.com
 

下载文件

使用内置option：-o(小写)

curl -o dodo1.jpg http:www.linux.com/dodo1.JPG
 

使用内置option：-O（大写)

curl -O http://www.linux.com/dodo1.JPG
 

循环下载

有时候下载图片可以能是前面的部分名称是一样的，就最后的尾椎名不一样

curl -O http://www.linux.com/dodo[1-5].JPG
# 这样就会把dodo1，dodo2，dodo3，dodo4，dodo5全部保存下来
 

下载重命名

curl -O http://www.linux.com/{hello,bb}/dodo[1-5].JPG
# 由于下载的hello与bb中的文件名都是dodo1，dodo2，dodo3，dodo4，dodo5。
因此第二次下载的会把第一次下载的覆盖，这样就需要对文件进行重命名。

curl -o #1_#2.JPG http://www.linux.com/{hello,bb}/dodo[1-5].JPG
# 这样在hello/dodo1.JPG的文件下载下来就会变成hello_dodo1.JPG,其他文件依此类推，
从而有效的避免了文件被覆盖
 

分块下载

有时候下载的东西会比较大，这个时候我们可以分段下载。使用内置option：-r

curl -r 0-100 -o dodo1_part1.JPG http://www.linux.com/dodo1.JPG
curl -r 100-200 -o dodo1_part2.JPG http://www.linux.com/dodo1.JPG
curl -r 200- -o dodo1_part3.JPG http://www.linux.com/dodo1.JPG
cat dodo1_part* > dodo1.JPG
# 这样就可以查看dodo1.JPG的内容了
 

通过ftp下载文件

curl可以通过ftp下载文件，curl提供两种从ftp中下载的语法

curl -O -u 用户名:密码 ftp://www.linux.com/dodo1.JPG
curl -O ftp://用户名:密码@www.linux.com/dodo1.JPG
 

显示下载进度条

curl -# -O http://www.linux.com/dodo1.JPG
 

不显示下载进度信息

curl -s -O http://www.linux.com/dodo1.JPG
 

断点续传

在windows中，我们可以使用迅雷这样的软件进行断点续传。
curl可以通过内置option:-C同样可以达到相同的效果；
如果在下载dodo1.JPG的过程中突然掉线了，可以使用以下的方式续传

curl -C -O http://www.linux.com/dodo1.JPG
 

上传文件

curl不仅仅可以下载文件，还可以上传文件。通过内置option:-T来实现；
这样就向ftp服务器上传了文件dodo1.JPG

curl -T dodo1.JPG -u 用户名:密码 ftp://www.linux.com/img/
 

显示抓取错误

curl -f http://www.linux.com/error

shell 文件/文件夹操作

1、将一个文件夹下的所有内容复制到另一个文件夹下

cp -r /home/packageA/* /home/cp/packageB/
或
cp -r /home/packageA/. /home/cp/packageB/
这两种方法效果是一样的。

2、将一个文件夹复制到另一个文件夹下
cp -r /home/packageA /home/packageB

运行命令之后packageB文件夹下就有packageA文件夹了。

3、删除一个文件夹及其下面的所有文件
rm -r /home/packageA

4、移动一个文件夹到另一个文件夹下面
mv /home/packageA /home/packageB/
或
mv /home/packageA /home/packageB
这两种方法效果是一样的。

如果是移动文件夹下的所有文件的话就可以文件夹后面跟上 /*
mv /home/packageA/* /home/packageB/

R&Y

关注

5
点赞
踩
77

收藏

觉得还不错? 一键收藏
0
评论
Shell命令汇总

shell uname命令uname命令uname命令用于打印当前系统相关信息（内核版本号、硬件架构、主机名称和操作系统类型等）。语法uname(选项)选项-a或--all：显示全部的信息；-m或--machine：显示电脑类型；-n或-nodename：显示在网络上的主机名称；-r或--release：显示操作系统的发行编号；-s或--sysname：显示操作系统名称；-v：显示操作系统的版本；-p或--processor：输出处理器类型或"unknown".
复制链接

扫一扫