java 批量替换 文件 字符串 shell_使用Sed和Awk实现批量文件的文本替换

摘要： 使用 Sed 完成文本替换操作任务是非常合适的。结合 find 命令，即可实现指定批量文件的文本替换。同时给出了Awk的解决方案作为对比。

问题

现在， 我要将一个原有Java项目中的一些包及下面的类移到另一个Java项目中复用(一个实际场景是，将自己工具箱的常用框架、工具包及类挪到具体项目中使用)。

Project javastudy:

Packages:

algorithm/ ,  foundations/,  javatech/, patterns/, threadprogramming/, datastructure/, javagui/, junitest3/, testdata/,  utils/

这些包下面会有很多子包。

现在要把这些包及其子包下面的所有 Java 文件移动到 Project ALLIN， 放在 package:  zzz.study 下面。

思路

在尝试使用 Eclipse 包重构无效之后， 我还是采用了最直观的方案： 将 Project javastudy 的上述包直接复制到 Project ALLIN 的包 zzz.study 下面。 复制之后， 要解决一个问题是： 必须手动更改每个 Java 文件的 package , import 引用。 比如 algorithm/BitsMapSort.java 中

package algorithm.sort;

import java.util.Arrays;

import datastructure.vector.NBitsVector;

必须改成：

package zzz.study.algorithm.sort;

import java.util.Arrays;

import zzz.study.datastructure.vector.NBitsVector;

也就是说， 要将指定包的多个Java文件里的 package packageName 和 import packageName 批量替换成 package zzz.study.packageName ,  import zzz.study.packageName， 其中 packageName 取以下这些值： algorithm ,  foundations,  javatech, patterns, threadprogramming, datastructure, javagui, junitest3, testdata,  utils 。

Sed解决方案

难道真的要手动修改这么多文件的包和导入引用么？

于是想到了使用Sed. 注意到， 关键是匹配到 package|import packageName 即可。 可以使用分组和引用来完成。 命令如下：

sed -r -i 's/(package|import) (algorithm|foundations|javatech|patterns|threadprogramming|datastructure|javagui|junitest3|testdata|utils)(.*)/\1 zzz.study.\2\3/'

要批量完成多个文件的上述操作， 使用 find | xargs 即可：

find . -name "*.java" | xargs sed -r -i 's/(package|import) (algorithm|foundations|javatech|patterns|threadprogramming|datastructure|javagui|junitest3|testdata|utils)(.*)/\1 zzz.study.\2\3/'

Awk解决方案

显然，有了 find 命令，只要处理好单个文件的文本替换，然后使用 for 循环依次处理即可。 awk 处理单个文件的文本替换如下代码所示。 ARGV[1] 是传入的文件名，通常生成一个临时文件然后去覆写原来的文件，获得就地修改的效果。system 用来调用 shell 命令，挺好的特性。 ~ 用于匹配行是否满足某种条件。awk -f replace.awk BitsMapSort.java 用指定的 awk 程序 replace.awk 来处理指定文件 BitsMapSort.java。

$ cat replace.awk

$ awk -f replace.awk BitsMapSort.java

BEGIN {

origin_filename = ARGV[]

print origin_filename

filename = origin_filename".tmp"

}

{

if ($ ~ /^(package|import) (algorithm|foundations|javatech|patterns|threadprogramming|datastructure|javagui|junitest3|testdata|utils).*/) {

print $" zzz.study."$ >> filename

}

else {

print $ >> filename

}

}

END {

cmd = "mv "filename" "origin_filename

system(cmd)

}

批量处理文件替换的命令是：

for file in $(find . -name '*.txt'); do awk -f replace.awk $file; done

小结

本文分别使用Sed和Awk两个小工具来实现批量文件的文本替换。可以看到 Sed 由于具备就地修改的特性，比 Awk 实现要简洁的多。为什么还要使用Awk来实现呢？ 一个重要原因是期望拥有多种解决途径和视角，不局限于单一方案。Awk 在规则的记录文件处理可以显示出更强大的威力，而Sed在任意文本内容替换上更具优势。

Sed 用法参考文章：

Linux 文本处理工具grep，sed，awk

grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更 ...

shell之三大文本处理工具grep、sed及awk

grep.sed和awk都是文本处理工具,虽然都是文本处理工具单却都有各自的优缺点,一种文本处理命令是不能被另一个完全替换的,否则也不会出现三个文本处理命令了.只不过,相比较而言,sed和awk功能更 ...

shell编程基础(七): 处理文件命令sed与awk

一.sed(以行为单位处理文件) sed意为流编辑器(Stream Editor),在Shell脚本和Makefile中作为过滤器使用非常普遍,也就是把前一个程序的输出引入sed的输入,经过一系列编辑 ...

【转帖】vim/sed/awk/grep等文件批处理总结

vim/sed/awk/grep等文件批处理总结 https://www.cnblogs.com/cangqiongbingchen/p/9760544.html Vim相关操作 1.基础 * 和 # ...

awk的批量replace功能

awk的批量replace功能 需求 现在需要替换一个文本 文本内容如下 $cat file MD_D1TS_1_060_I MD_D1TS_1_061_F MD_D1TS_1_062_U MD_D1 ...

Sed、Awk单行脚本快速参考

文本间隔: # 在每一行后面增加一空行 sed G awk '{printf("%s\n\n",$0)}' # 将原来的所有空行删除并在每一行后面增加一空行. # 这样在输出的文本 ...

sh脚本学习之: sh脚本 、sed、awk

sh脚本 sh命令的批处理文件,支持更复杂的逻辑. Shell中的变量 参数 $0 当前脚本路径 $1....$n 脚本执行对应的第n个参数 条件判断 文件判断 test [op] path e存在 ...

sed and awk学习笔记

sed and awk 背景 awk起源追溯至sed和grep,进而追溯至共同的行编辑器ed.实用工具grep来源于ed命令:g/re/p .实用工具awk和sed有一个共同的选项-f用于指定脚本的名 ...

随机推荐

Atitit   发帖机实现(3 )---usrQBN023 js提交ajax内容到后端规范与标准化

Atitit   发帖机实现(3 )---usrQBN023 js提交ajax内容到后端规范与标准化 大段内容务必要替换转义换行符号1 提交务必使用utf编码,否则解码后的可能缺失,是web serv ...

Magento 安装时文件权限 设置

http://www.magentocommerce.com/wiki/1_-_installation_and_configuration/magento_filesystem_permission ...

CAShapeLayer

之前讲过CALayer动画相关知识,再来看看更加复杂的CAShapeLayer相关的动画知识. 普通CALayer在被初始化时是需要给一个frame值的,这个frame值一般都与给定view的boun ...

PowerDesigner使用教程 —— 概念数据模型 (转)

一.概念数据模型概述    概念数据模型也称信息模型,它以实体-联系(Entity-RelationShip,简称E-R)理论为基础,并对这一理论进行了扩充.它从用户的观点出发对信息进行建模,主要用于 ...

CSS flex 布局 一些基本属性应用

作用于伸缩盒元素上的属性 box-orient .box-pack.box-align.box-direction.box-lines box-orient box-orient:horizontal ...

成不了天才，但为何也没成"人材"？(转)

长期以来,"软件业"一直被视为"智力密集"型的"朝阳"产业,大多数从业者都受过高等教育,其平均素质居于社会各行业的前列,这个产业的顶尖人物被 ...

Problems at works

1.ssh无法连接服务器:因部署ftp服务,误将/var目录的所有者和所属组改成了ftp,以致于SSH无法二次连接: 2.集群服务器的hadoop的datanode节点死亡,在对应节点拉起即可.若无法 ...

Hexo的更新 主题的更换

1:HEXO更新 ①hexo generate ②hexo deploy 2:  HEXO主题的更换,①找到主题的github地址后 进入自己的HEXO文件夹然后 git clone xxxx(地址) ...

How to Create a First Shell Script

How to Create a First Shell Script   Shell scripts are short programs that are written in a shell pr ...

Ubuntu轻松编译openJDK

花了三天在windows上搞openJDK,对bash本来就不熟,加上各种莫名依赖和脚本里的bug,身心俱疲.最后make all的时候产生一个莫名其妙的错误说什么有warning且-Werror置为 ...