【脚本】shell指南

最新推荐文章于 2022-01-15 12:06:09 发布
最新推荐文章于 2022-01-15 12:06:09 发布
阅读量283 收藏
点赞数
分类专栏： 脚本&工具
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xhdxhdxhd/article/details/105897519
版权

REPL解析过程

当你在命令行中输入字符时，比如最简单的，

$ ls

bash会查找ls然后执行

但是，如果你输入任何允许的东西，bash怎么处理，比如：

$ cmd=ls
$ $cmd

bash会如何解释$cmd呢？这里，变量替换是生效的，因此bash执行ls。
如果cmd中包含多个参数呢？

$ cmd="ls -l"
$ $cmd

bash会使用IFS来分割$cmd,因为它没有使用双引号包含，所以变量会展开之后分割，考虑：

$ cmd="ls,-l"
$ IFS=,
$ $cmd

如果你unset IFS，则$cmd会报错找不到"ls,-l"。

除了变量替换之外，命令的解析支持$’\x10’语法吗？答案是支持。

# 等价于echo yes
$ $'\x65ch\x6f' yes
yes

eval

eval会将目标参数使用空格join成字符串，然后执行

IFS

当bash遇到一个字符串序列时，如果它看到这个字符串没有使用引号，就会通过IFS将这个字符串展开成多个域。IFS影响的是字符串的展开，而不会影响脚本的命令按空格分隔的原则。

注意，如下的命令不会生效

a='echo,-n,yes'
IFS=, $a

并不会执行echo -n yes, 因为$a的解析是在IFS=,这一行语句之前，IFS只是影响导出的环境变量。

交互

特殊字符

Special Chars - tldp

Bash core

bultin-in

bultin-in - tldp

Subshell和子进程的区别

subshell - tldp
当使用()运行子命令时，子命令是在subshell中执行的，subshell的赋值不会影响父shell，但父shell的未导出的变量，函数，数组等在subshell中可读。

$$ 在子shell和父shell中都是一致的
$BASHPID 则是每个shell自有的

C-Style

在bash中某些地方可以使用c语言风格的语法

{a,b}展开

{xxx,yyy,zzz,…}其中{}是展开符号，如

echo {a,b}{c,d}
--> ac ad bc bd

{} 匿名函数

{}创建一个匿名函数，但是不能使用local

[], [[]],和test

注意，[和test是同义词，都是shell的内置命令，但是[[是关键字。

$[ … ]

正数展开，和$((…))一样

&>

将stdout和stderr都重置

(echo yes;echo no >&2) &>/dev/null

退出值

let和(())的退出值是根据结果是否是0来判断的， 为0时返回1（错误），非0返回0（正确）。
可用于一般的条件表达式中

for(…;…;…)

for((i=0;i<10;i++));do
     echo $i
done

condition?a:b

: $((b=a<10?1:0))

注意, :在这里只是为了避免赋值的副作用

含有\x00的字符串

将含有\x00的字符串赋值给变量时，会产生截断：

a=$'aa\x00adf'
"$a"
--> bash aa: command not found
echo "${#a}"
-->2

如上所见，字符串只被识别到2个字符。

如果需要传递这样的字符串，可以通过管道进行操作。

echo -ne 'ab\x00c'|wc -c
--> 4

字符串

参数替换(Parameter Substitution)

变量形式变量未声明变量已声明，值为null变量不为null说明
${a-default}default$a$a使用默认值：变量只需声明即可避免使用默认值
${a:-default}defaultdefault$a使用默认值：变量需声明且值非空才能避免使用默认值
${a=default}a=defaulta不变a不变设置默认值：变量只需声明即可避免使用默认值
${a:=default}a=defaulta=defaulta不变设置默认值：变量需声明，且值非空才能避免设置默认值
${a+alt_value}nullalt_valuealt_value使用可选值：变量需声明
${a:+alt_value}nullnullalt_value使用可选值：变量需声明，且值非空
${a?err}错误正确正确变量断言：变量需声明
${a:?err}错误错误正确变量断言：变量需声明，且值非空

注：上面的每种形式都有一个:的版本，:的目的是区分变量为null的两种情况中，未声明和已声明但是为null的情况。 基本上，不带:的版本，只要已声明，无论值是null或非null，结果都是一致的。而带:的版本，未声明和已声明但值null是一致的。
总的来说， 不带:的版本，只关心是否声明；而带:的版本，只关心值是否为null.

字符串

LDP-manipulate strings
${a:from:len} 子串,也可用于数组

${}替换：规则： #表示开头,%表示结尾, /表示替换
/# 表示匹配开头并替换, /%表示匹配末尾并替换
/表示替换所有

expr

Here document

基本形式，进行变量替换

user:dar export NAME=test
user:dar cat << EOF
> name=$NAME
> EOF
name=test

带引号（单引号和双引号一样），不进行变量替换

user:dar export NAME=test
user:dar cat << "EOF"
> name=$NAME
> EOF
name=$NAME

无需对变量进行双引号引用(不会进行expand)

字符串作为输入

当使用变量作为内联字符串输入时，无需对变量进行双引号引用

user:dar a="a b c
> d e
> "
user:dar cat -e <<< $a
a b c$
d e$
$

词法环境

词法环境，也就是lex environment, 是指在

${s/A/B}, 其中A和B都是词法环境，A和B会作为一个单独的词法环境进行解析，而不受外围的语法影响。
此外，$(S)中S也创造了一个词法环境

在=~ 的右侧，也创建了一个词法环境，但是注意，在pattern中可以使用 $’\n’来表示特殊字符

$ [[ ab$'\n'c =~ [$'\n'] ]];echo $? 
0

=~

关于Pattern，参考Regular Expression Posix Extended

[[ ]]

在 [[]]无需对变量进行双引号引用，它们不会像 [ 那样([实际上是命令，而 [[ 是bash内建的操作符)

user:dar a="a b c"
user:dar [[ -n $a ]];echo $?
0
user:dar [ -n $a ]];echo $?
-bash: [: missing `]'
2

变量赋值(包括拼接，不会进行expand）

$ a="ab cd"
$ b="  ef  z"
$ c=$a$b
$ echo "$c"
ab cd  ef  z

字符串替换

只有${…/…/…}在语法层面上符合 / … /的格式即可，即使变量中含有/分隔符，也不会进行expand

a=' b c/ d '
b=' x f/ c '
c=X.$a$b.X
echo "$c"  # X. b c/ d  x f/ c .X
echo ${c/$a$b/Z}  # X.Z.X

需要对字符串变量进行双引号引用

文件重定向

当包含文件名的变量含有分隔符号(空白符，换行等）时，在重定向中必须使用双引号引用

user:dar echo yes > "a b.txt"
user:dar f="a b.txt"
user:dar cat < "$f"
yes
user:dar cat < $f
-bash: $f: ambiguous redirect

Code Snippets

for each line

使用read读取文件的每一行，使用’'进行分割

IFS=$'\n'
read -d '' -a arr <<< $data

解释：
IFS=$’\n’用于设置域分割符合是换行符，这样read数组的时候就是会使用换行符作为分隔
-d ‘’ 用于设置delimeter，用于指示read读取所有的输入
-a arr 赋值到数组中
<<< $data 字符串输入重定向

Example Usage

lsof查找

ps显示进程

gitm.sh显示当前git仓库消息

#!/usr/bin/env bash
git log --format=%s -n1 "$@"

kill-port.sh杀掉端口对应的进程

#!/usr/bin/env bash
if [[ -z $1 ]];then
    echo "requires port" >&2
    exit 1
fi
pid=$(lsof -i ":$1"|tail -n1|awk '{print $2}')
if [[ -z $pid ]];then
    echo "port not open:$1" >&2
    exit 1
fi
echo "killing pid=$pid for port=$1" >&2
kill -9 "$pid"

显示git分支

# Git branch in prompt.

parse_git_branch() {
  git branch 2> /dev/null | sed -e '/^[^*]/d' -e 's/* \(.*\)/ (\1)/'
}

PS1="\u@\h \W\[\033[32m\]\$(parse_git_branch)\[\033[00m\] $ "

PS1定制

参考：http://ezprompt.net/

\A = 11:38
\u = 用户名
\h = hostname

PS1="\u@\h \w\[\033[32m\]\$(parse_git_branch)\[\033[00m\] \A  "

效果：

nick@Desktop ~/project (develop) 11:41 

如果目录显示过于长，可以将换行

PS1="\u@\h \w\[\033[32m\]\$(parse_git_branch)\[\033[00m\] \A \n "

特殊图标：
unicode查询
苹果：echo -ne '\xef\xa3\xbf'
Linux企鹅：🐧 echo -ne '\xf0\x9f\x90\xa7'

目录缩写

shortpath(){
echo ${PWD/#'/home/dar/wpath'/'$W'};
}
PS1='\u@\h \e[33m$(shortpath)\[\033[32m\]$(parse_git_branch)\[\033[00m\] \A '

IP

用于区分

ipaddr(){
	addr=$(ip addr show eth0 |awk '/inet /{print $2}'|cut -d '/' -f1)
	echo -n "$addr"
}
# use PS1='\u@$(ipaddr)'

忽略不可打印的字符

在定制PS1时，应当确保指示bash忽略带颜色的字符，不然就可能导致输入提前换行。
http://www.tldp.org/HOWTO/Bash-Prompt-HOWTO/nonprintingchars.html

汇总

Linux PS1配置：

parse_git_branch() {
    git branch 2> /dev/null | sed -e '/^[^*]/d' -e 's/* \(.*\)/ (\1)/'
  }
shortpath(){
	p=${PWD/#'/Users/bytedance'/'~'}
	p=${p/#'/home/xiaohuadong'/'~'}
	p=${p/#'~/Projects/webcast'/'$GOPATH'}
	p=${p/#'$GOPATH/src/code.byted.org/webcast'/'$W'}
	 echo -n "$p"
}
ipaddr(){
	addr=$(ip addr show eth0 |awk '/inet /{print $2}'|cut -d '/' -f1)
	echo -n "$addr"
}

# the linux penguin icon
PENGUIN=$(echo -ne '\xf0\x9f\x90\xa7')
# 
APPLE=$(echo -ne '\xef\xa3\xbf')

# PS1='\u@\h:\w \A\n\$ '
PS1='\u@$(ipaddr) \e[33m$(shortpath)\[\033[32m\]$(parse_git_branch)\[\033[00m\] \A \n$PENGUIN '

Shell编写指南

几大原则

关于 /bin, /sbin, /usr/bin, /usr/local/bin， 你需要了解 /usr/bin是系统层级的, /usr/local/bin是organization层级的，因此，对于env这样的工具，应当指定 /usr/bin/env

此外，对于要不要将子工具暴露到路径中，这是一个关于如何组织代码的问题，你当然需要避免将子工具暴露到路径中。这样一来，你就只能依赖某些特殊的项目

好吃吗
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【shell脚本免交互操作】
zhangyuanzhangy的博客
06-15 259
使用I/O重定向的方式将命令列表提供给交互式程序或命令，比如ftp、cat 或read命令。HereDocument是标准输入的一种替代品，可以帮助脚本开发人员不必使用临时文件来构建输入信息，而是直接就地生产出—个文件并用作命令的标住输入。 要注意点 标记可以使用任意的合法字符（通用的字符是EOF）结尾的标记一定要顶格写，前面不能有任何字符（包括空格）结尾的标记后面也不能有任何字符（包括空格）开头标记前后空格会被省略掉单引号 变量双引号 — 2.2使用 passwd命令设置密码 3.Here Docume
[Shell]脚本
weixin_44417042的博客
06-29 457
ShellShellShell脚本Shell环境Shell脚本示例运行Shell变量定义变量使用变量只读变量删除变量变量类型Shell字符串单双引号区别拼接字符串获取字符串长度提取子字符串Shell数组定义数组读取数组Shell 注释Shell传参Shell基本运算符算数运算符关系运算符布尔运算符逻辑运算符字符串运算符文件测试运算符Shell echo命令Shell printf 命令Shell test命令Shell流程控制ifif elseif else-if elsefor循环whileShell函数
linux shell IFS分隔符 简介 IFS=$‘\n‘ 使用换行符做分隔符
whatday的专栏
01-15 7606
IFS是internal field separator的缩写，shell的特殊环境变量。ksh根据IFS存储的值，可以是空格、tab、换行符或者其他自定义符号，来解析输入和输出的变量值。 用IFS定制分隔符的方式范例 IFS='|' text='a a a a|b b b b|c c c c' for i in $text;do echo "i=$i";done IP地址倒序 如果有一IP地址220.112.253.111, 欲将这个IP地址颠倒顺序，你可以定义IFS为"."，然后直接echo这
shell中的特殊变量IFS的使用，以及其值为$'\n'与'\n'时的区别。
业精于勤，荒于嬉；行成于思，毁于随
01-30 8999
在shell中使用到for循环时，是通过IFS同样也是来定义分隔符。如果要指定多个IFS字符，只要将他们在赋值行串起来就行。如下: IFS=$'\n':;" 这个赋值会将换行符、冒号、分号和双引号作为字段分隔符。如何使用 IFS 字符解析数据没有任何限制。 那么下面三个的区别是什么呢？ IFS='\n' //将字符\和字符n作为IFS的换行符。 IFS='\n' //与
IFS的使用值为$'\n'与'\n'时的区别
胡胡大妞的博客
02-18 1968
在shell中使用到for循环时，是通过IFS同样也是来定义分隔符。如果要指定多个IFS字符，只要将他们在赋值行串起来就行。如下: IFS=$'\n':;" 1 这个赋值会将换行符、冒号、分号和双引号作为字段分隔符。如何使用 IFS 字符解析数据没有任何限制。 那么下面三个的区别是什么呢？ IFS='\n' //将字符\和字符n作为IFS的换行符。 IFS='\n' //与上面一样。 IFS...
shell脚本学习四(结构化命令for、while、util)
服务猿
06-05 1136
for命令： for var in list do commands done $user 变量保持了其值，也允许我们修改它的值，并在for命令循环之外跟其他变量一样使用 从命令读取值： ...
IFS=' /t/n/ 与IFS=$' /t/n'的区别
capa2006的专栏
03-20 6963
<br />参考：http://bbs.chinaunix.net/thread-1748468-1-1.html<br /> <br />man bash，可以看到这句话：<br /> <br />Words of the form $'string' are treated specially.  The word expands to string, with backslash-escaped characters replaced  as  speci-<br />        fied by
SHELL脚本学习指南
09-30
**SHELL脚本学习指南** 在信息技术领域，Shell脚本是一种强大的工具，尤其在Linux和Unix系统中，它被广泛用于自动化日常任务、系统管理以及软件部署。本指南将深入探讨Shell脚本的基础和高级概念，帮助你充分利用这...
Shell 脚本专家指南
04-28
学习shell脚本的必读之术 学习shell脚本的必读之术 学习shell脚本的必读之术
通俗易懂的shell脚本指南
08-23
shell脚本是一种弱类型语言，如果把shell命令比作盖房子，那shell脚本就是用一块块砖瓦建起来的房子了。我们可以通过一些约定的格式将那些小巧的命令组合起来，实现更加自动化更加智能的所谓shell脚本。
[Shell]更改字段分隔符IFS示例
champwang
01-22 4905
直接上 code IFS_OLD=$iFS #將当前值保存 IFS=$'\n' for file in /home/user/* do echo "$file" done IFS=$IFS_OLD #恢復之前保存的值 [End_by_ChampWang] 20170122
Linux shell IFS 设置为换行符
m0_37683327的博客
07-19 3468
IFS设置为换行 设置方式： IFS=' ' 验证： lishixin@lishixin:~/桌面$ IFS=' > ' lishixin@lishixin:~/桌面$ echo "shshhshshshs > shjahsjha > shajshahsj > sahjsha" shshhshshshs shjahsjha shajshahsj sahjsha lishi...
Shell中的IFS解惑
whusl的专栏
01-09 1355
一、IFS 介绍 Shell 脚本中有个变量叫 IFS(Internal Field Seprator)，内部域分隔符。完整定义是The shell uses the value stored in IFS, which is the space, tab, and newline characters by default, to delimit words for the read ...
【Linux】IFS是个什么鬼
厚积薄发者，轻舟万重山
04-25 7846
一、IFS引入         IFS(Internal Field Seprator)，即内部域分隔符，完整定义是“The shell uses the value stored in IFS, which is the space, tab, and newline characters by default, to delimit words for the read and set co
shell中的特殊变量IFS
热门推荐
求人不如求己，思考才能进步！
07-22 2万+
当我越来越习惯python的编写风格时，我经常会想用bash去遍历一个文件的行，并将读取的行进行处理。 但一个诡异的情况，如果我的文本类似于这样 the first line. the second line. the third line. for line in `cat filename` do echo $line done  当我通过上面的方式遍历文件的每一行，我发现读
【bosun】查询表达式
xhdxhdxhd的博客
11-05 3090
表达式文档 https://bosun.org/expressions seriesSet的理解 可以将其结构看成： seriesSet = { "group0":{ time0: num0, time1:num1, .... }, "group1":{ time0: num0, time1:num1, .... } } 每个seriesSet由多个组构成，每个组由时间和值映射的序列构成。 group的
Linux shell脚本实战指南
"《shell脚本攻略》是一本专注于Linux下shell脚本编程的书籍，主要关注bash命令的使用，适合各个层次的Linux系统管理员和程序员阅读。书中通过丰富的实践案例，展示了如何利用shell脚本进行日常任务的快速开发，如从...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值