网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
当脚本需要嵌入大段的文本内容时,here document[15]往往是一个非常有用的工具,它将其中的文本作为命令的标准输入。不过,echo 命令并不支持从标准输入读取内容,所以下面的写法是错误的:
# This is wrong: echo <<EOF Hello world How's it going? EOF
正确的方法是,使用 cat 命令来完成:
# This is what you were trying to do: cat <<EOF Hello world How's it going? EOF
或者可以使用双引号,它也可以跨越多行,而且因为 echo 命令是内置命令,相同情况下它会更加高效:
echo "Hello world How's it going?"
18. su -c ‘some command’
这种写法“几乎”是正确的。问题是,在许多平台上,su 支持 -c 参数,但是它不一定是你认为的。比如,在 OpenBSD 平台上你这样执行会出错:
$ su -c 'echo hello' su: only the superuser may specify a login class
在这里,-c 是用于指定 login-class[16]。如果你想要传递 -c ‘some command’ 给 shell,最好在之前显示地指定 username:
$ su root -c 'some command' # Now it's right.
19. cd /foo; bar
如果你不检查 cd 命令执行是否成功,你可以会在错误的目录下执行 bar 命令,这有可能会带来灾难,比如 bar 命令是 rm -rf *。
你必须经常检查 cd 命令执行是否有错误,简单的做法是:
cd /foo && bar
如果在 cd 命令后有多个命令,你可以选择这样写:
cd /foo || exit 1 bar baz bat ... # Lots of commands.
出错时,cd 命令会报告无法改变当前目录,同时将错误消息输出到标准错误,例如 “bash: cd: /foo: No such file or directory”。如果你想要在标准输出同时输出自定义的错误提示,可以使用复合命令(command grouping[17]):
cd /net || { echo "Can't read /net. Make sure you've logged in to the Samba network, and try again."; exit 1; } do_stuff more_stuff
注意,在{号和 echo 之间需要有一个空格,同时}之前要加上分号。
顺便提一下,如果你要在脚本里频繁改变当前目录,可以看看 pushd/popd/dirs 等命令,可能你在代码里面写的 cd/pwd 命令都是没有必要的。
说到这,比较下下面两种写法:
find ... -type d -print0 | while IFS= read -r -d '' subdir; do here=$PWD cd "$subdir" && whatever && ... cd "$here" done find ... -type d -print0 | while IFS= read -r -d '' subdir; do (cd "$subdir" || exit; whatever; ...) done
下面的写法,在循环中 fork 了一个子 shell 进程,子 shell 进程中的 cd 命令仅会影响当前 shell 的环境变量,所以父进程中的环境命令不会被改变;当执行到下一次循环时,无论之前的 cd 命令有没有执行成功,我们会回到相同的当前目录。这种写法相较前面的用法,代码更加干净。
20. [ bar == “$foo” ]
正确的用法 :
[ bar = "$foo" ] && echo yes [[ bar == $foo ]] && echo yes
21. for i in {1…10}; do ./something &; done
你不应该在 & 后面添加分号,删除它:
for i in {1..10}; do ./something & done
或者改成多行的形式:
for i in {1..10}; do ./something & done
& 和分号一样也可以用作命令终止符,所以你不要将两个混用到一起。一般情况下,分号可以被换行符替换,但是不是所有的换行符都可以用分号替换。
22. cmd1 && cmd2 || cmd3
有些人喜欢把 && 和 || 作为 if…then…else…fi 的简写语法,在多数情况下,这种写法没有问题。例如:
[[ -s $errorlog ]] && echo "Uh oh, there were some errors." || echo "Successful."
但是,这种结构并不是在所有情况下都完全等价于 if…fi 语法。这是因为在 && 后面的命令执行结束时也会生成一个返回码,如果该返回码不是真值(0 代表 true),|| 后面的命令也会执行,例如:
i=0 true && ((i++)) || ((i--)) echo $i # 输出 0
看起来上面的结果应该是返回 1,但是结果却是输出 0,为什么呢?原因是这里 i++ 和 i-- 都执行了一遍。
其中,((i++)) 命令执行算术运算,表达式计算的结果为 0。这里和 C 语言一样,表达式的结果为 0 被认为是 false。所以当 i=0 的时候,((i++)) 命令执行的返回码为 1(false),从而会执行接下来的 ((i–)) 命令。
如果我们在这里使用前缀自增运算符的话,返回的结果恰恰为 1,因为 ((++i)) 执行的返回码是 0(true):
i=0 true && (( ++i )) || (( --i )) echo $i # Prints 1
不过在你无法保证 y 的执行结果是,绝对不要依靠 x && y || z 这种写法。上面这种巧合,在 i 初始化为-1 时也会有问题。
如果你喜欢代码更加安全健壮,建议使用 if…fi 语法:
i=0 if true; then ((i++)) else ((i--)) fi echo $i # 输出 1
23. echo “Hello World!”
在交互式的 Shell 环境下,你执行以上命令会遇到下面的错误:
bash: !": event not found
这是因为,在默认的交互式 Shell 环境下,Bash 发现感叹号时会执行历史命令展开。在 Shell 脚本中,这种行为是被禁止的,所以不会发生错误。
不幸地是,你认为明显正确地修复方法,也不能工作,你会发现反斜杠并没有转义感叹号[18]:
# echo "hi\!" hi\!
最简单地方法是禁用 histexpand 选项,你可以通过 set +H 或者 set +o histexpand 命令来完成。
下面四种写法都可以解决:
# 1. 使用单引号 echo 'Hello World!' # 2. 禁用 histexpand 选项 set +H echo "Hello World!" # 3. 重置 histchars histchars= # 4. 控制 shell 展开的顺序,命令行历史展开是在单词拆分之前执行的 # 参见:Bash man 手册的History Expansion一节 exmark='!' echo "Hello, world$exmark"
24. for arg in $*
和大多数 Shell 一样,Bash 支持依次读取单个命令行参数的语法。不过这并是 $*或者 $@,这两种写法都不正确,它们只能得到完整的参数列表,并非单独的一个个参数。
正确的语法是(没错要加上引号):
for arg in "$@" # 或者更简单的写法 for arg
在脚本中遍历所有参数是一个再普遍不过的需求,所以 for arg 默认等价于 for arg in “
@
"
。
@"。
@“。@ 使用双引号后就有特殊的魔力,每个参数展开后成为一个独立的单词。(”$@” 等价于 “$1” “$2” “$3” …)
下面是一个错误的例子 :
for x in $*; do echo "parameter: '$x'" done
执行的结果为:
$ ./myscript 'arg 1' arg2 arg3 parameter: 'arg' parameter: '1' parameter: 'arg2' parameter: 'arg3'
正确的写法:
for x in "$@"; do echo "parameter: '$x'" done
执行的结果为:
$ ./myscript 'arg 1' arg2 arg3 parameter: 'arg 1' parameter: 'arg2' parameter: 'arg3'
上面正确的例子中,第一个参数 ‘arg 1’ 在展开后依然是一个独立的单词,而不会被拆分成两个。
25. function foo()
这种写法不一定能够兼容所有 shell,兼容的写法是:
foo() { ... }
26. echo “~”
波浪号展开(Tilde expansion)[19]仅当没有引号的时候发生,在上面的例子中,只会向标准输出打印符号,而不是当前用户的家目录路径。
当用引号将路径参数引起来时, 如果要用引号将相对于家目录的路径引起来时,推荐使用 $HOME 而不是 ~, 假如 $HOME 目录是 “/home/my photos”,路径中包含空格。
下面是几组例子:
"~/dir with spaces" # expands to "~/dir with spaces" ~"/dir with spaces" # expands to "~/dir with spaces" ~/"dir with spaces" # expands to "/home/my photos/dir with spaces" "$HOME/dir with spaces" # expands to "/home/my photos/dir with spaces"
27. local varname=$(command)
当在函数中声明局部变量时,local[20]作为一个独立的命令,这种奇特的行为有时候可能会导致困扰。比如,当你想要捕获命令替换[21]的返回码时,你就不能这样做。local 命令的返回码会覆盖它。
这种情况下,你只能分成两行写:
local varname varname=$(command) rc=$?
28. export foo=~/bar
export 与 local 命令一样,并不是赋值语句的一部分。因此,在有些 Shell 下(比如 Bash),export foo=~/bar 会展开,但是有些(比如 Dash)却不行。
下面是两种比较健壮的写法:
foo=~/bar; export foo # Right! export foo="$HOME/bar" # Right!
29. sed ‘s/$foo/good bye/’
单引号内部不会展开 $foo 变量,在这里可以换成双引号:
foo="hello"; sed "s/$foo/good bye/"
但是要注意,如果你使用了双引号,就需要考虑更多转义的事情,具体可以看Quotes[22]这一页。.
30. tr [A-Z] [a-z]
这里至少有三个问题。第一个问题是, [A-Z] 和 [a-z] 会被 shell 认为是通配符。如果在当前目录下没用文件名为单个字母的文件,这个命令似乎能正确执行,否则会错误地执行,也许你会在周末耗费许多小时来修复这个问题。
第二个问题是,这不是 tr 命令正确的写法,实际上,上面的命令会把 [转换成 [,将任意大写字符转换成对应的小写字符,将] 转换成],所以你根本不需要加上括号,这样第一个问题就可以解决了。
第三个问题是,上面的命令执行结果依赖于当前的 locale[23],A-Z 或者 a-z 不一定会代表 26 个 ASCII 字母。实际上,在一些语言环境下,z 位于字母表的中间位置。这个问题的解法,取决于你希望发生的行为是哪一种。
如果你仅希望改变 26 个英文字母的大小写(强制 locale 为 C):
LC_COLLATE=C tr A-Z a-z
如果你希望根据实际的语言环境来转换:
tr '[:upper:]' '[:lower:]'
31. ps ax | grep gedit
这里的根本问题是正在运行的进程名称,本质上是不可靠的。可能会有多个合法的 gedit 进程,也有可能是别的东西伪装成 gedit 进程(改变执行命令名称是一件简单的事情 ), 更多细节可以看ProcessManagement[24]这一篇文章。
执行以上命令,往往会在结果中包含 grep 进程:
# ps ax | grep gedit 10530 ? S 6:23 gedit 32118 pts/0 R+ 0:00 grep gedit
这个时候,需要过滤多余的结果:
# ps ax | grep -v grep | grep gedit
上面的写法比较丑陋,另外一种方法是:
# ps ax | grep [g]edit
32. printf “$foo”
如果 $foo 变量的值中包括 \ 或者 % 符号,上面命令的执行结果可能会出乎你的意料之外。
下面是正确的写法:
printf %s "$foo" printf '%s\n' "$foo"
33. for i in {1…$n}
Bash 的命令解释器[25]会优先展开大括号[26],所以这时大括号{}表达式里面看到的是文字上的
n
(没有展开)。
n(没有展开)。
n(没有展开)。n 不是一个数值,所以这里的大括号{}并不会展开成数字列表。可见,这导致很难使用大括号来展开大小只能在运行时才知道的列表。
可以用下面的方法:
for ((i=1; i<=n; i++)); do ... done
注:之前我也有写过一篇文章来介绍这个问题:Shell 生成数字序列[27]。
34. if [[ $foo = $bar ]]
在 [[内部,当 = 号右边的值没有用引号引起来,bash 会将它当作模式来匹配,而不是一个简单的字符串。所以,在上面的例子中 ,如果 bar 的值是一个*号,执行的结果永远是 true。
所以,如果你想检查两侧的字符串是否相同,等号右侧的值一定要用引号引起来。
if [[ $foo = "$bar" ]]
如果你确实要执行模式匹配,聪明的做法是取一个更加有意义的变量名(例如 $patt),或者加上注释说明。
35. if [[ $foo =~ ‘some RE’ ]]
同上,如果 =~号右侧的值加上引号,它会散失特殊的正则表达式含义,而变成一个普通的字符串。
如果你想使用一个长的或者复杂的正则表达式,避免大量的反斜杠转义,建议把它放在一个变量中:
re='some RE' if [[ $foo =~ $re ]]
36. [ -n $foo ] or [ -z $foo ]
这个例子中,$foo 没有用引号引起来,当 $foo 包含空格或者 $foo 为空时都会出问题:
$ foo="some word" && [ -n $foo ] && echo yes -bash: [: some: binary operator expected $ foo="" && [ -n $foo ] && echo yes yes
正确的写法是:
[ -n "$foo" ] [ -z "$foo" ] [ -n "$(some command with a "$file" in it)" ] [[ -n $foo ]] [[ -z $foo ]]
37. [[ -e “$broken_symlink” ]] returns 1 even though $broken_symlink exists
这里-e 选项是看文件是否存在,当紧跟的文件是一个软链接时,它不看软链接是否存在,而是看实际指向的文件是否存在。所以当软链接损坏时,即实际指向的文件被删除后,-e 的结果返回 1。
所以如果你确实要判断后面的文件是否存在,正确的写法是:
[[ -e "$broken_symlink" || -L "$broken_symlink" ]]
38. ed file <<<“g/d{0,3}/s//e/g” fails
ed 命令使用的正则语法,不支持 0 次出现次数,下面的就可以正常工作:
ed file <<<"g/d\{1,3\}/s//e/g"
略过,现在很少会有人用 ed 命令吧。微信搜索公众号:网络安全与黑客技术,回复:黑客 领取资料 。
39. expr sub-string fails for “match”
下面的例子多数情况下运行不会有问题:
word=abcde expr "$word" : ".\(.*\)" bcde
但是当 $work 不巧刚好是 match 时,就有可能出错了(MAC OSX 下的 expr 命令不支持 match,所以依然能正常工作):
word=match expr "$word" : ".\(.*\)"
原因是 match 是 expr 命令里面的一个特殊关键字,针对 GNU 系统,解决方法是在前面加一个 ‘+’:
word=match expr + "$word" : ".\(.*\)" atch
‘+’ 号可以让 expr 命令忽略后续 token 的特殊含义。
另外一个建议是,不要再使用 expr 命令了,expr 能做的事情都可以用 Bash 原生支持的参数展开(Parameter Expansion[28])或者字符串展开(Substring Expansion)来完成。并且相同情况下,内置的功能肯定比外部命令的效率要高。
上面的例子,目的是为了删除单词中的首字符,可以这样做:
$ word=match $ echo "${word#?}" # PE atch $ echo "${word:1}" # SE atch
40. On UTF-8 and Byte-Order Marks (BOM)
多数情况下,UNIX 下 UTF-8 类型的文本不需要使用 BOM,文本的编码是根据当前语言环境,MIME 类型或者其它文件元数据信息确定的。人为阅读时,不会因为在文件开始处加 BOM 标记而腚影响,但是当文件要被脚本解释执行时,BOM 标记会像 MS-DOS 下的换行符(^M)一样奇怪。
41. content=$(<file)
这里没有什么错误,不过你要知道命令替换会删除结尾多余的换行符。
略过,原文给的优化方法需要 Bash 4.2+ 以上的版本,手头没有这样的环境。
42. somecmd 2>&1 >>logfile
这是一个很常见的错误,显然你本来是想将标准输出与标准错误输出都重定向到文件 logfile 中,但是你会惊讶地发现,标准错误依然输出到屏幕中。
这种行为的原因是,重定向[29]在命令执行之前解析,并且是从左往右解析。上面的命令可以翻译成,将标准错误输出重定向到标准输出(此刻是终端),然后将标准输出重定向到文件 logfile 中。所以,到最后,标准错误并没有重定向到文件中,而是依然输出到终端:
somecmd >>logfile 2>&1
更加详细的说明见BashFAQ[30]。
43. cmd; (( ! $? )) || die
只有需要捕获上一个命令的执行结果进,才需要记录 $? 的值,否则如果你只需要检查上一个命令是否执行成功,直接检测命令:
if cmd; then ... fi
或者使用 case 语句来检测多个或能的返回码:
cmd status=$? case $status in 0) echo success >&2 ;; 1) echo 'Must supply a parameter, exiting.' >&2 exit 1 ;; *) echo 'Unknown error, exiting.' >&2 exit $status esac
引用链接
[1]
Bash Pitfalls: http://mywiki.wooledge.org/BashPitfalls
[2]
不应该让脚本去解析 ls 命令的结果: http://mywiki.wooledge.org/ParsingLs
[3]
WordSplitting: http://mywiki.wooledge.org/WordSplitting
[4]
文件名展开: http://mywiki.wooledge.org/glob
[5]
使用 Find 命令: http://mywiki.wooledge.org/UsingFind
[6]
使用引号: http://mywiki.wooledge.org/Quotes
[7]
单词拆分: http://mywiki.wooledge.org/WordSplitting
[8]
locale: http://mywiki.wooledge.org/locale
[9]
[[关键字: http://mywiki.wooledge.org/BashFAQ/031
[10]
test 命令: http://mywiki.wooledge.org/BashFAQ/031
[11]
子 Shell: http://mywiki.wooledge.org/SubShell
[12]
Bash FAQ #24: http://mywiki.wooledge.org/BashFAQ/024
[13]
单词拆分: http://mywiki.wooledge.org/WordSplitting
[14]
文件名展开: http://mywiki.wooledge.org/glob
[15]
here document: http://www.tldp.org/LDP/abs/html/here-docs.html
[16]
-c 是用于指定 login-class: http://www.openbsd.org/cgi-bin/man.cgi?query=su&sektion=1
[17]
command grouping: http://mywiki.wooledge.org/BashGuide/CompoundCommands
[18]
反斜杠并没有转义感叹号: https://www.gnu.org/software/bash/manual/html_node/Double-Quotes.html
[19]
波浪号展开(Tilde expansion): https://www.gnu.org/software/bash/manual/html_node/Tilde-Expansion.html
[20]
local: http://tldp.org/LDP/abs/html/localvar.html
[21]
命令替换: http://mywiki.wooledge.org/CommandSubstitution
[22]
Quotes: http://mywiki.wooledge.org/Quotes
[23]
locale: http://mywiki.wooledge.org/locale
[24]
ProcessManagement: http://mywiki.wooledge.org/ProcessManagement
[25]
命令解释器: http://mywiki.wooledge.org/BashParser
[26]
展开大括号: http://mywiki.wooledge.org/BraceExpansion
[27]
Shell 生成数字序列: https://kodango.com/generate-number-sequence-in-shell
[28]
Parameter Expansion: http://mywiki.wooledge.org/BashFAQ/073
[29]
重定向: http://wiki.bash-hackers.org/howto/redirection_tutorial
[30]
BashFAQ: http://mywiki.wooledge.org/BashPitfalls#cat_file_.7C_sed_s.2Ffoo.2Fbar.2F_.3E_file
–完–
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上鸿蒙开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
sed_s.2Ffoo.2Fbar.2F_.3E_file*
–完–
黑客&网络安全如何学习
今天只要你给我的文章点赞,我私藏的网安学习资料一样免费共享给你们,来看看有哪些东西。
1.学习路线图
攻击和防守要学的东西也不少,具体要学的东西我都写在了上面的路线图,如果你能学完它们,你去就业和接私活完全没有问题。
2.视频教程
网上虽然也有很多的学习资源,但基本上都残缺不全的,这是我自己录的网安视频教程,上面路线图的每一个知识点,我都有配套的视频讲解。
内容涵盖了网络安全法学习、网络安全运营等保测评、渗透测试基础、漏洞详解、计算机基础知识等,都是网络安全入门必知必会的学习内容。
深知大多数程序员,想要提升技能,往往是自己摸索成长,但自己不成体系的自学效果低效又漫长,而且极易碰到天花板技术停滞不前!
[外链图片转存中…(img-xhF0uVqz-1715723113820)]
[外链图片转存中…(img-MzkPQI5l-1715723113820)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上鸿蒙开发知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新