shell脚本实用小技巧（不断更新）

已于 2022-06-02 23:00:11 修改
阅读量1.5k 收藏 5
点赞数 1
分类专栏： linux 文章标签： 运维 linux
于 2021-09-22 15:54:15 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014454538/article/details/120415805
版权

1. openssl实现加解密、哈希

1.1 openssl实现AES加解密

  • 老大说，不能在shell脚本放明文密码

  • 自己的第一反应：我先在本地AES加密得到密文，然后将密文写入shell脚本

  • 网上搜索了一下，openssl可以满足需求

  • 直接基于字符串加解密（AES-256）

    # 直接基于字符串加密
echo "明文" | openssl enc -aes-256-cbc -a -salt -pass pass:密码

# 直接基础字符串解密， -d表示解密
echo "密文" | openssl enc -aes-256-cbc -a -d -salt -pass pass:密码

  • 示例

    echo "hello, world" | openssl enc -aes-256-cbc -a -salt -pass pass:12345678

echo "U2FsdGVkX1+8LczdI2MWVt4rW7VLxCYgCcQcftPwvqg=" | openssl enc -aes-256-cbc -a -d -salt -pass pass:12345678

  • 对文件进行AES加解密

    # 文件加密
openssl enc -aes-256-cbc -a -salt -pass pass:123456 -in source_file_name -out target_file_name

# 文件解密
openssl enc -aes-256-cbc -a -d -salt -pass pass:123456 -in source_file_name -out target_file_name

  • 示例

    # 文件加密
openssl enc -aes-256-cbc -a -salt -pass pass:123456 -in hello.txt -out hello.txt.enc

# 文件解密
openssl enc -aes-256-cbc -a -d -salt -pass pass:123456 -in hello.txt.enc -out hello

1.2 openssl实现SHA-256计算

  • 计算SHA-256

    # 基于文件计算SHA-256
openssl dgst -sha256 file_name
# 基于字符串计算SHA-256
echo "明文" | openssl dgst -sha256

  • 示例

    # 基于文件计算SHA-256
openssl dgst -sha256 hello.txt 
# 基于字符串计算SHA-256
echo "hello" | openssl dgst -sha256

参考链接

2. 安装软件

  • centos中，安装一个软件的命令如下

    yum install xxx

  • 手动安装，我们发现可能需要输入一个y，去确认安装
    在这里插入图片描述

  • 新需求：通过shell脚本去安装某些软件，如何避免交互输入？

  • 添加-y，表示对后续所有问题，都回答yes

    yum install xxx -y

  • -y的作用：在这里插入图片描述

  • 参考文档：利用shell脚本自动安装软件

3. sed命令

  • sed命令跟awk一样，是一个非常强大的处理命令
  • 目前，自己使用到的具体应用场景如下：
    • 通过sed删除文件中匹配的行
    • 通过sed命令修改文件中匹配的行
    • 通过sed命令修改前一命令的执行结果等
  • 总的来说，就是通过sed命令实现字符串的修改

3.1 字符串替换

  • 直接修改字符串，例如将10.193.183.131改成10-193-183-131
    • s表示替换指定字符，
    • 末尾的g表示全面替换，类似Java String类的replaceAll，否则默认替换第一个匹配的字符
    • 整体写法："s/source-string/target-string/g"，表示使用 target-string 将匹配行中所有source-string
      hostname -i | sed "s/\./-/g"

3.2 删除匹配行

  • 删除匹配行，末尾使用d选项

    # 删除包含sunrise的行
echo "hello, lucy
hello, sunrise" | sed "/sunrise/d" 
# 执行结果
hello, lucy

3.3 基于文件的修改

  • 通过-i选项基于文件进行修改，如果怕直接修改出问题，可以 -iSUFFIX创建备份文件，SUFFIX是自定义的后缀名

    # 文件内容
hello, world
sunrise lucy
10.193.24.145

# 以备份文件的形式进行修改
sed -i_bak_20220120 "s/\./-/g" test 
# 将创建test_bak_20220120备份文件，test内容修改如下
hello, world
sunrise lucy
10-193-24-145

  • 向文件中插入多行，通过\n实现

    sed -i "s/hello, world/hello, jack\nhello, grace/g" test  
# 修改后的内容
hello, jack
hello, grace
sunrise lucy
10-193-24-145

3.4 正则匹配

  • -r正则匹配，如删除以hello开头的行

    sed -ri "/^hello.*/d" test  
# 经过实践，不加r也是可以的
sed -i "/^hello.*/d" test  
# 修改后的内容
sunrise lucy
10-193-24-145

  • 例如，正则匹配，删除多余的空格

    echo "   hello|   hadoop  | test" | awk -F '|' '{print $2}' | sed -r 's/( )+//g'

  • 其余可以参考：sed命令

3.5 如何插入变量？

  • 有时，我们希望将匹配到的内容，更新为一个变量中的内容
  • 可以直接在target-string部分，使用变量
    ip=`hostname -i |sed 's/\./-/g'`
node_id="node.id=coordinator-"${ip}
sed -ri  "s/^node.id.*/${node_id}/g" $HOME/node.properties

3.6 其他小技巧汇总

  • 删除指定字符，如最后1个、开始的3个，使用.表示匹配一个任意字符,;实现多个操作指令的拼接。更多操作，见博客：使用 sed 命令替换/删除 文本字符的 20 个例子

    # 删除最后一个字符
echo "250G" | sed -r "s/.{1}$//"
# 删除前3个字符
echo "123hello" | sed -r "s/...//"
# 删除最后一个x
echo "hellox" | sed -r "s/x$//"
# 同时删除前3个和最后一个字符
echo "123hellox" | sed -r "s/...//;s/x$//"

4. scp命令的小技巧

  • 使用scp在机器之间转发文件时，总是需要输入对方主机对应用户的密码

    scp -r datard@10.193.121.12:/bigdata/presto-server-0.240.tar.gz /opt/bigdata/app/presto                 
Authorized uses only. All activity may be monitored and reported.
datard@10.193.121.12's password:

  • 如果是通过shell脚本实现scp，肯定不希望中途要求输入密码

  • 最好有个工具能提前输入密码，让scp命令自动执行，无需交互

  • sshpass是一个不错的工具

    yum install -y  sshpass

  • 安装以后，便可以提前设置密码

    sshpass -p "******" scp -r datard@10.193.121.12:/bigdata/presto/presto-server-0.240.tar.gz /opt/bigdata/app/presto

  • 而且，有时要需要弹出什么yes确认，通过scp的如下选项可以解决

    -o 'StrictHostKeyChecking=no'
# 示例
scp -o 'StrictHostKeyChecking=no'  -r datard@10.193.121.12:/bigdata/presto/presto-server-0.240.tar.gz /opt/bigdata/app/presto

5. awk命令的使用

  • awk的由来：awk命令的作者为Aho、Weinberger和Kernighan，通过作者名字首字母组合得到了awk
  • 在我看来，awk命令就是按列处理文本数据的一个强大而实用的命令
  • 例如，可以按照指定的分隔符对文本进行分割，可以打印分割出来的任意列，可以求某列的最大值、最小值、和、平均值等
  • 关于awk命令的全面讲解，可以参考如下博客：

5.1 文本分割与打印

  • awk默认按照一个或者多个空格对每条记录（默认一行为一条记录）进行分割，分割后将产生多列，可以通过print打印想要的列

  • 文件test的内容如下：

    100  Thomas  Manager    Sales       $5,000
200  Jason   Developer  Technology  $5,500
300  Sanjay  Sysadmin   Technology  $7,000
400  Nisha   Manager    Marketing   $9,500
500  Randy   DBA        Technology  $6,000

5.1.1 打印所有列（整条记录）

  • 使用awk进行分割并打印所有列，等价于cat命令。其中，$0表示整条记录

    # 不指定具体的列，默认print所有列 
awk '{print;}' test      
# 或者
awk '{print}' test      
# 或者
awk '{print $0}' test

  • 执行结果：

5.1.2 打印指定列

  • 使用awk进行分割并打印指定列
  • 其中，$N表示第N列，$0表示整条记录；NF是记录中的字段（列）数，$NF则表示最后一列
    # 打印第二列和最后一列
awk '{print $2, $5}' test
# 或者
awk '{print $2, $NF}' test
  • 执行结果：

5.1.3 通过-F指定分割符

  • awk默认分割符为空格，可以通过-F指定分割符

    # 以$作为分隔符，产生2列数据
awk -F '$' '{print $1, $2}' test

  • 执行结果

  • -F对应awk的内建变量FS，上面的命令可以书写如下

    awk 'BEGIN{FS="$";} {print $1, $2}' test

5.1.4 awk命令的整体结构

  • awk中，BEGIN用于定义对每条记录进行处理前的一些初始化工作，例如，定义变量、设置分割符等
  • END用于定义处理完所有记录后的一些收尾工作，例如，打印处理的记录总数，最大值、最小值等
  • BEGIN和END后面必须跟着使用{action1; action2; ...}表示的动作块（action part），不允许换行；如果换行，命令执行会报错！！
    awk 'BEGIN 
	{FS="$";} 
	{print $1, $2}' test
  • 执行报错，提示BEGIN blocks must have an action part。
  • BEGIN和END动作块中间的动作块，则表示对每条记录进行的操作（自己喜欢称其为record action part）
  • 一个完整的awk命令示例如下：
    # 整体结构为
begin action part [可选]
record action part [必须]
end action part [可选]
awk 'BEGIN{FS="$"}  
	{print $NF} 
	END{print "员工数:", NR}' test
  • 执行结果如下：

5.1.5 打印时，通过OFS指定列分割符

  • 通过以上命令的执行，我们不难发现：通过print打印每列时，依然使用空格作为分隔符

  • 有时，我们需要使用其他的分隔符。这时，可以使用awk的内建变量OFS指定打印时的分隔符

  • 以|作为列分割符

    awk 'BEGIN{OFS=" | "} {print $1, $2, $NF}' test

  • 打印效果如下：

5.2 求和、平均值、最大值、最小值

  • 首先，需要将test文本中，薪资列的,去除避免影响计算

5.2.1 求和

  • 实战：求员工薪水的和

    # sum+=$NF，定义sum变量，并对薪资列进行累加求和
awk -F '$' '{sum+=$NF} END {print "员工薪水总和：", sum}' test

  • 执行结果：

5.2.2 求平均

  • 求平均值，print时，使用sum / NR即可

  • 其中，NR表示处理过的记录条数，是一个不断变化的值，相当于每条记录的编号。

  • 当处理完最后一条记录时，NR对应的就是记录的总条数

  • 实战：求员工薪水的平均值

    awk -F '$' '{sum+=$NF} END {print "员工平均工资：", sum/NR}' test

  • 执行结果

5.2.3 计算max

  • 实战：计算最高薪资

    awk -F '$'  'BEGIN {max_salary=0} {if($NF > max_salary) max_salary=$NF} END { print "最高薪资：", max_salary}'  test
# 简写如下
awk -F '$'  '{if($NF > max_salary) max_salary=$NF} END { print "最高薪资：", max_salary}'  test
# 等价于if语句
awk -F '$'  '$NF > max_salary {max_salary=$NF; max_record=$0 }; END { print "最高薪资：", max_salary, "，完整记录 --", max_record}'  test

  • 执行结果：
    在这里插入图片描述

5.2.4 计算min

  • 实战：计算最低薪资
  • 注意：
    • 最小值必须指定，求最大值时的1和3两种命令在这里不可行
    • 建议使用第三种计算方法，避免min初始值指定不正确，导致计算出错
    # not working的写法
awk -F '$'  '$NF < min_salary {min_salary=$NF;}; END { print "最低薪资:", min_salary}'  test
# 设置一个合理的初始值
awk -F '$'  'BEGIN {min_salary=10000000} {if($NF < min_salary) min_salary=$NF} END { print "最低薪资:",  min_salary}'  test
# 最智能的做法，将第一条记录的值作为初始值
awk -F '$' '{
	if(NR == 1) 
    	{line = $0; min = $NF;}
	else if(NR > 1 && $NF < min)
    	{line = $0; min = $NF;}
    }
	END {print min,"--",line}' test
  • 执行结果：
    在这里插入图片描述
  • 感谢stackoverflow给的计算min的灵感：awk script for finding smallest value from column
晓之木初
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
如何隐藏shell脚本内容
fengye_csdn的博客
11-01 1180
从事 Linux 开发的同学，经常需要编写 shell 脚本，有时脚本中会涉及到一些敏感内容，比如一些 IP 地址，用户名以及密码等，或者脚本中有一些关键的代码, 所有这些内容你都不想别人阅读或者修改，更进一步，你希望对脚本设置过期时间，超过指定时间时间之后，脚本就无法使用 在不改变脚本内容、功能以及执行方式的情况下，有没有办法实现上面的需求呢？ 答案是：有的， 在Linux下，我们可以使用 shc这个工具来实现隐藏shell脚本内容以及设置过期时间的目的 简介 shc是一个通用shell脚本编译器，它将.
linux脚本解密,shell脚本加密与解密
weixin_42525178的博客
05-04 2890
我们写的shell脚本里面通常会包含帐号密码等信息或者你不想让别人看到的信息，那么把写好的shell脚本进行简单的加密显得有些必要了。常用的shell加密方法有两种，一种是通过gzexe加密，另一种是通过shc加密。我们先给一个简单的脚本，然后用它来进行加密解密演示，脚本abc.sh内容如下#!/bin/bashecho"helloworld!"gzexe加密与解密shell脚本shell&...
Linux Shell脚本中使用加密密码，进阶收藏！
最新发布
xiaochong0302的博客
07-21 191
有时候在 shell 脚本中，我们需要远程用户的密码，比如：连接到远程系统，ftp 用户和代理用户等。在 Linux shell 脚本中，始终建议使用加密密码。
SHELL脚本加密与解密
weixin_44218366的博客
01-22 3224
bash unshc.sh 需要解密的sh.x文件 -o 新生成的文件。test.sh.x 二进制可执行文件，用cat查看会是一堆乱码。test.sh.x.c 生成的C源码，可以删除。shc -r -f 需要加密的sh脚本。把下列内容复制到sh文件，直接执行即可。-r 制作可执行的二进制文件。-f 要编译的脚本的文件名。test.sh 原始文件。
写个shell加密解密脚本，用于shell脚本的加密解密
weixin_42604188的博客
02-17 904
我可以给你一个简单的shell加密解密脚本，它可以用来加密和解密shell脚本：#!/bin/bash encrypt.sh# 加密 openssl enc -aes-256-cbc -salt -in $1 -out $2# 解密 openssl enc -d -aes-256-cbc -in $1 -out $2 ...
解密Shell脚本中的EOF：编写高效、可读性强的代码！
qq_21305943的专栏
10-12 645
在Shell脚本中，EOF（End of File）是一个特殊标记，用于指示一段文本的开始和结束位置。但它并不是Shell脚本中的关键字或保留字。您可以自由选择EOF之前的标记，只需确保开始和结束标记匹配即可。基本上<<EOF告诉 shell 您将输入多行字符串，直到“标记” EOF。您可以根据需要命名此标签，通常是EOF或STOP。
文件被后台程序占用无法删除_在 Windows 的世界里，就没有它删不掉的文件
weixin_39672979的博客
11-22 382
不用说，平时删除文件的时候，你肯定遇到过这种情况。Windows 经常会在用户准备删除、重命名、复制或移动文件时，弹出上图对话框，告诉用户「这个文件被占用了」，无法删除……遇到这种情况点重试没用，最直接的方法是打开任务管理器，结束相关的程序进程。但这个方法有 bug，就是 Windows 并不提示是哪个进程占用了文件。所以只是单个文件还好，仔细排查一下也能找到。但当你选中一堆文件准备批量...
收集的48个Shell脚本小技巧
09-15
Shell脚本是Linux/Unix系统中用于自动化任务的有力工具，掌握一些实用的小技巧能极大地提升工作效率。以下是一些从标题和描述中提取的关键知识点，以及详细的解释： 1. **Shell调试**： 使用`sh -x somefile.sh`或...
Shell脚本echo指令使用小技巧
09-15
### Shell脚本echo指令使用小技巧 #### 一、概述 `echo` 是Shell脚本中的一个非常实用的内置命令，主要用于向标准输出设备（通常是屏幕）打印指定的字符串或变量值。它不仅可以帮助开发者在调试阶段查看变量的值，...
Shell脚本计算字符串长度和判断字符串为空小技巧
01-10
一些需要注意的脚本问题 计算字符串长度可用的三种方法： 代码如下: echo “$str”|awk ‘{print length($0)}’ expr length “$str” ... 您可能感兴趣的文章:用Shell判断字符串包含关系的方法小结Shel
【Linux操作系统】探秘Linux奥秘：shell 编程的解密与实战
朝花夕拾
01-06 8336
博文“Shell 编程”深入介绍了Shell脚本在计算机编程中的重要性和灵活性。作者首先阐述了Shell是一个强大的命令解释器，它为用户提供了在操作系统上执行命令的环境。随后，文章详细探讨了Shell脚本的编写和执行过程，强调了它在自动化任务、批量处理以及系统管理中的广泛应用。
Shell脚本中实现把输入的密码转换为*（星号）的方法
09-15
主要介绍了Shell脚本中实现把输入的密码转换为*（星号）的方法,从而把密码字符串隐藏起来,比较实用的一个功能,在做交互设计时非常有用哦,需要的朋友可以参考下
shell脚本明文密码隐藏且加密
我的博客
01-28 2047
将密码放到文件中去，比如/root/.pass.txt password=`</root/.pass.txt` 还怕密码泄露的话，就把pass.txt权限设置下。 chattr +i /root/.pass.txt # 不允许修改不允许删除 chattr -i /root/.pass.txt # 不允许修改不允许删除解除权限 ...
Linux-编写SHELL 加密解密方法
qq_38522411的博客
11-22 3767
Linux-编写SHELL 加密解密方法 我们在编写SHELL脚本时，有时候需要填写密码到脚本里，比如mysql备份脚本，这时我们就需要一个脚本加密解密的方法了，我使用GO语音执行Linux命令加密解密。脚本调用go脚本。 一. 使用bash64 加密 解密 1.加密 [root@izbp14ot0ykf8wyktz0kwgz ~]# echo "我是密码" | base64 2.解密 ...
shellcode混淆加密(二)
m0_62466350的博客
12-01 1445
本文首发博客园https://www.cnblogs.com/fdxsec/p/17827348.html。
shell脚本shc加密解密
weixin_43135696的博客
11-30 4646
一、shc加密 #shc编译安装 #软件安装包地址：http://www.datsi.fi.upm.es/~frosal/sources/ tar xvfz shc-3.8.7.tgz cd shc-3.8.7 make #验证shc是否正确安装 ./shc -v #加密命令 shc -T -f a.sh #加密后生成的文件 #a.sh.x是加密后的可执行的二进制文件 #a.sh.x.c是生成a.sh.x的原文件(c语言) a.sh a.sh.x a.sh.x.c 加密后用UltraEdit打开的效果
Linux Shell-如何进行简单的加解密-AES-openssl库
weixin_34008784的博客
10-23 6683
2019独角兽企业重金招聘Python工程师标准>>> ...
Shell脚本加密方法大全及案例演示
热门推荐
木牛的博客
06-27 1万+
一、加密原因 当我们正式线上开发环境是基于Linux开发时，通常必不可少的就是shell脚本的编写。 shell脚本的好处众多，可对系统进行自动化维护，简单，快捷而且可移植性强。存在问题： 但是shell脚本时可读写的，很有时候，当线上业务量过多的时候，许多的执行命令还有一些信息我们可能会在脚本中来进行记录，防止丢失。但是这样以来可能会泄露一些敏感信息，比如用户名，密码，路径，IP，数据存放位置等隐私信息。同样，在shell脚本运行时也会泄露敏感信息。比如当需要做一个自动登录脚本时，每次手动输入密码太慢，而
如何将shell脚本进行加密？
cileimian3035的博客
07-26 564
昨天在整理之前公司的一个运维脚本，这个脚本功能十分强大，它基本覆盖了我们Oracle数据库运维的命令。 而后，我又对改脚本进行个性化的调整，使脚本更加符合我的使用。但是脚本只是单纯的由SQL组成的shell脚本，无论谁拿到了这...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值