简介
sed（Stream Editor）是一种功能强大的文本处理工具，用于非交互式编辑文本文件。它可以对输入流进行一系列文本处理操作，例如查找、替换、删除、添加等，是运维人员和开发人员必备的利器。相比于其他文本编辑工具，sed命令具有以下特点：
-
流处理模式： sed逐行处理输入流，而非整篇读取文件内容，内存占用更少，处理速度更快，尤其适用于处理大型文件。
-
强大的模式匹配功能： sed支持基本正则表达式和扩展正则表达式，可以灵活地匹配文本内容，满足复杂的操作需求。
-
丰富的文本处理操作： sed提供丰富的文本处理操作，包括查找、替换、删除、添加、插入、截取、变换等，可以满足各种文本处理需求。
-
易于使用： sed命令语法简洁易懂，易于学习和使用。
命令格式
sed命令的基本格式如下：
sed [选项] [模式] [动作] 文件
其中：
-
选项：用于指定sed命令的行为，例如是否直接修改文件内容、是否显示匹配行号等。 -
模式：要匹配的文本模式，可以是简单的字符串、正则表达式或更复杂的条件表达式。 -
动作：要执行的操作，例如替换文本、删除文本、添加文本等。 -
文件：要处理的文件或包含文件列表的文件。
常用选项
sed提供了许多选项，用于控制其行为。以下是一些常用的选项：
-
-n：不显示默认输出，只显示匹配的行。 -
-i：直接修改文件内容。 -
-e：执行多个sed命令。 -
-f：从文件中读取sed命令。 -
-r：使用扩展正则表达式。 -
-l：只显示匹配的行号。
命令用法
1. 查找文本
sed '模式' 文件
例如，以下命令查找file.txt文件中包含“hello”的行：
sed 'hello' file.txt
2. 替换文本
sed 's/模式/替换/g' 文件
例如，以下命令将file.txt文件中所有出现的“old”替换为“new”：
sed 's/old/new/g' file.txt
3. 删除文本
sed 'd' 文件
例如，以下命令删除file.txt文件中所有空行：
sed 'd' file.txt
4. 添加文本
sed 'a文本' 文件
例如，以下命令在file.txt文件的第一行之前添加一行文本“Hello, world!”：
sed 'aHello, world!' file.txt
5. 直接修改文件内容
sed -i '模式 动作' 文件
例如，以下命令将file.txt文件中所有出现的“old”替换为“new”，并直接修改文件内容：
sed -i 's/old/new/g' file.txt
6. 执行多个sed命令
sed -e '模式1 动作1' -e '模式2 动作2' 文件
例如，以下命令将file.txt文件中所有出现的“old”替换为“new”，并将所有空行删除：
sed -e 's/old/new/g' -e 'd' file.txt
7. 使用扩展正则表达式
sed -r '模式' 文件
例如，以下命令查找file.txt文件中包含以“a”开头、以“z”结尾的单词的行，使用扩展正则表达式：
sed -r '[a-z]+$' file.txt
8. 使用变量
sed命令支持使用变量来简化操作。例如，以下命令将file.txt文件中所有行号替换为“Line N”，其中N是行号：
sed 'N; s/^/# Line &/g' file.txt
步骤：
-
定义要使用的变量。
-
使用变量值替换模式或动作中的一部分内容。
结果：
file.txt文件中所有行号都被替换为“Line N”。
9. 指定打印范围
sed命令支持指定打印范围，例如只打印匹配行的前N行或后N行。例如，以下命令打印file.txt文件中匹配模式“error”的行及其前后两行：
sed '/error/{n; n; p; }' file.txt
步骤：
-
确定要打印的范围。
-
使用sed命令指定打印范围。
结果：
file.txt文件中匹配模式“error”的行及其前后行都被打印出来。
10. 组合使用模式和动作
sed命令支持组合使用多个模式和动作，可以实现更复杂的操作。例如，以下命令将file.txt文件中所有以“a”开头的行替换为“new_line”，并将所有空行删除：
sed '/^a/ { s/^.*$/new_line/; } ; d' file.txt
步骤：
-
确定要执行的操作。
-
组合使用多个模式和动作实现操作。
结果：
file.txt文件中所有以“a”开头的行都被替换为“new_line”，所有空行都被删除。
命令实操
案例一：修改配置文件
假设/etc/nginx/nginx.conf文件中包含了Nginx服务器的配置信息。为了修改配置文件中的某些参数，可以以下命令：
sed 's/old_value/new_value/g' /etc/nginx/nginx.conf
例如，以下命令将/etc/nginx/nginx.conf文件中所有出现的“80”替换为“81”，修改Nginx服务器的默认端口：
sed 's/80/81/g' /etc/nginx/nginx.conf
步骤：
-
确定要修改的参数和修改后的值。
-
使用sed命令进行修改。
-
检查修改结果是否正确。
结果：
Nginx服务器的默认端口由80改为81。
案例二：查找并删除日志文件中的错误信息
假设/var/log/syslog文件中记录了系统的运行日志。为了查找并删除出现错误的信息，可以以下命令：
sed '/error/d' /var/log/syslog
该命令将查找/var/log/syslog文件中包含“error”的行，并将其删除。
步骤：
-
确定要查找的错误信息。
-
使用sed命令进行查找并删除。
-
检查删除结果是否正确。
结果：
/var/log/syslog文件中所有包含“error”的行都被删除。
案例三：批量修改文件名
假设当前目录下存在大量文件，需要将它们的文件名统一修改为特定格式。例如，将所有文件名的第一个字母改为大写。可以以下命令：
sed 's/^([^\.]*)\.\(.*\)$/\1\.\2/g' *
该命令将遍历当前目录下的所有文件，并将它们的文件名的第一个字母改为大写。
步骤：
-
确定要修改的文件名格式。
-
使用sed命令进行批量修改。
-
检查修改结果是否正确。
结果：
当前目录下所有文件名的第一个字母都已改为大写。
案例四：统计代码行数
假设要统计source.c文件中代码的行数，可以以下命令：
sed -n 's/^$//;p' source.c | wc -l
该命令将首先删除source.c文件中所有空行，然后使用wc -l命令统计非空行数。
步骤：
-
确定要统计代码行数的文件。
-
使用sed命令删除空行。
-
使用wc命令统计行数。
结果：
source.c文件中代码行的数目显示在命令行中。
案例五：从备份文件中恢复数据
假设/data/backup/data.txt是某个文件的备份文件，需要将备份文件中的数据恢复到原始文件/data/data.txt中。可以以下命令：
sed 's/^# //' /data/backup/data.txt > /data/data.txt
该命令将首先删除data/backup/data.txt文件中每一行开头的“#”符号（表示注释），然后将处理后的结果重定向到/data/data.txt文件中，覆盖原始文件中的内容。
步骤：
-
确定备份文件和原始文件的位置。
-
使用sed命令删除备份文件中的注释。
-
将处理后的结果覆盖原始文件。
结果：
/data/data.txt文件中的内容被恢复为备份文件中的内容。
案例六：将文本转换为表格
假设data.txt文件中的内容如下：
name,age,city
张三,30,北京
李四,25,上海
王五,40,广州
需要将该文件中的内容转换为表格形式。可以以下命令：
sed '1{s/\,/|/g;p};n{s/^/|/;s/\,/|/gp}' data.txt
该命令将首先将第一行（表头）中的逗号替换为管道符号“|”，然后将每一行的开头添加一个管道符号“|”，并将逗号替换为管道符号“|”，最后将处理后的结果输出到标准输出。
步骤：
-
确定要转换的文本文件。
-
使用sed命令将文本转换为表格格式。
-
将结果输出到标准输出或重定向到文件。
结果：
| name | age | city |
|---|---|---|
| 张三 | 30 | 北京 |
| 李四 | 25 | 上海 |
| 王五 | 40 | 广州 |
案例七：查找文件中的重复行
假设要查找/home/user/data目录下所有文件中重复的行。可以以下命令：
find /home/user/data -type f -exec sed 'N;!{H;d};p' {} + | sort | uniq -d
该命令首先使用find命令查找/home/user/data目录下所有文件，然后使用sed命令查找每个文件中的重复行，最后使用sort命令对结果进行排序，并使用uniq -d命令删除重复行。
步骤：
-
确定要查找重复行的目录。
-
使用find命令查找要处理的文件。
-
使用sed命令查找每个文件中的重复行。
-
使用sort命令对结果进行排序。
-
使用uniq命令删除重复行。
结果：
/home/user/data目录下所有文件中重复的行将被列出。
案例八：根据条件从多个文件中提取数据
假设要从/data/log/log*.txt文件中提取所有包含“error”的行，并按日期排序。可以以下命令：
sed '/error/!d' /data/log/*.txt | sort | uniq
该命令首先使用sed命令从每个文件中提取所有包含“error”的行，然后使用sort命令对结果按日期排序，最后使用uniq命令删除重复行。
步骤：
-
确定要提取数据的文件。
-
使用sed命令从每个文件中提取指定内容。
-
对结果进行排序或其他处理。
-
删除重复行。
结果：
/data/log/log*.txt文件中所有包含“error”的行将被提取出来，并按日期排序后显示。
运维实战脚本
案例一：基于条件的批量修改配置文件
场景描述：
我们需要修改/etc/apache2/apache2.conf配置文件中的多个参数，但并非所有服务器都需要修改相同的参数。例如，对于Web服务器A，需要修改“ServerName”和“DocumentRoot”参数，而对于Web服务器B，只需要修改“ServerName”参数。
解决方案：
我们可以使用sed命令结合条件判断来实现基于条件的批量修改。具体步骤如下：
- 准备条件判断文件： 创建一个名为“conditions.txt”的文件，其中每一行记录一个服务器的条件和需要修改的参数。例如：
ServerName=www.example.com;DocumentRoot=/var/www/html
ServerName=www.example.org
- 编写sed命令脚本：
#!/bin/bash
# 定义条件判断文件路径
conditions_file="conditions.txt"
# 逐行读取条件判断文件
while IFS=';' read -r server_name document_root; do
# 判断当前服务器是否需要修改
if [[ "$HOSTNAME" == "$server_name" ]]; then
# 如果需要修改，则执行sed命令
if [[ -n "$document_root" ]]; then
sed -i "s/ServerName .*$/ServerName $server_name/g; s/DocumentRoot .*$/DocumentRoot $document_root/g" /etc/apache2/apache2.conf
else
sed -i "s/ServerName .*$/ServerName $server_name/g" /etc/apache2/apache2.conf
fi
fi
done < "$conditions_file"
案例二：使用变量和函数的批量文件重命名
场景描述：
我们需要将当前目录下所有符合特定规则的文件名进行重命名。例如，将所有以“image”开头的文件名改为以“new_image”开头，同时保留原始文件名的扩展名。
解决方案：
我们可以使用sed命令结合变量和函数来实现批量文件重命名。具体步骤如下：
- 编写sed命令脚本：
#!/bin/bash
# 定义重命名规则
rename_pattern="s/^image(.*)$/new_image\1/"
# 获取当前目录下的所有文件
files=$(find . -type f)
# 遍历每个文件
for file in $files; do
# 获取文件名和扩展名
filename=$(basename "$file")
name="${filename%.*}"
ext="${filename##*.}"
# 判断文件名是否符合重命名规则
if [[ "$name" =~ ^image ]]; then
# 执行sed命令重命名文件
new_filename="$name.bak"
sed -i "$rename_pattern" "$file"
mv "$file" "$new_filename"
fi
done
建议
-
在使用sed命令之前，请务必阅读其官方手册，了解其详细用法和语法。
-
在对重要文件进行修改之前，请务必备份原始文件。
-
对于复杂的操作，可以先使用sed命令在测试环境中进行尝试，确保无误后再应用到生产环境。
总结
sed命令功能强大、易于使用，是运维人员和开发人员必备的文本处理工具。通过掌握sed命令的各种用法，可以高效地完成各种文本处理任务。
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
