linux批处理中删除字符串,Linux常用命令之文本处理

最新推荐文章于 2022-07-29 10:54:05 发布
最新推荐文章于 2022-07-29 10:54:05 发布
阅读量129 收藏
点赞数
文章标签： linux批处理中删除字符串

Linux常用命令之文本处理

Linux常用命令之文本处理

uniq [选项] 文件

说明：这个命令读取输入文件，并比较相邻的行。在正常情况下，第二个及以后更多个重复行将被删去，行比较是根据所用字符集的排序序列进行的。该命令加工后的结果写到输出文件中。输入文件和输出文件必须不同。如果输入文件用“- ”表示，则从标准输入读取。

该命令各选项含义如下：、

– c 显示输出中，在每行行首加上本行在文件中出现的`次数。它可取代- u和- d选项。

– d 只显示重复行。

– u 只显示文件中不重复的各行。

– n 前n个字段与每个字段前的空白一起被忽略。一个字段是一个非空格、非制表符的字符串，彼此由制表符和空格隔开(字段从0开始编号)。

+n 前n个字符被忽略，之前的字符被跳过(字符从0开始编号)。

– f n 与- n相同，这里n是字段数。

– s n 与+n相同，这里n是字符数。

接下来通过实践实例说明：

代码如下:

[root@stu100 ~]# cat test

boy took bat home

boy took bat home

girl took bat home

boy took bat home

boy took bat home

dog brought hat home

dog brought hat home

dog brought hat home

看test文件的内容

代码如下:

[root@stu100 ~]# uniq test

boy took bat home

girl took bat home

boy took bat home

dog brought hat home

uniq命令不加任何参数，仅显示连续重复的行一次

代码如下:

[root@stu100 ~]# uniq -c test

2 boy took bat home

1 girl took bat home

2 boy took bat home

3 dog brought hat home

1

-c 参数显示文件中每行连续出现的次数。

代码如下:

[root@stu100 ~]# cat test |sort | uniq -c

1

4 boy took bat home

3 dog brought hat home

1 girl took bat home

排序后再显示

代码如下:

[root@stu100 ~]# uniq -d test

boy took bat home

boy took bat home

dog brought hat home

-d选项仅显示文件中连续重复出现的行。

代码如下:

[root@stu100 ~]# uniq -u test

girl took bat home

-u选项显示文件中没有连续出现的行。

代码如下:

[root@stu100 ~]# uniq -f 2 -s 2 test

boy took bat home

忽略每行的前2个字段，忽略第二 个空白字符和第三个字段的首字符，结果at home

代码如下:

[root@stu100 ~]# uniq -f 1 test

boy took bat home

dog brought hat home

忽 略每行的第一个字段，这样boy ，girl开头的行看起来是连续重复的行。

代码如下:

[root@stu100 ~]# uniq -D test

boy took bat home

boy took bat home

boy took bat home

boy took bat home

dog brought hat home

dog brought hat home

dog brought hat home

显示所有重复的行，每个重复的行都显示

当你有一个包含相同条目的雇员(employee)的文件，你可以以如下方式来删除相同的条目

代码如下:

$ sort namesd.txt | uniq

$ sort –u namesd.txt

如果你想知道有多少行是相同的，可以像下面这个做。以下例子中的第一列显示该行的重复数量。在本例中，以Alex和Emma开头的行，在文件中有两个重复行。

代码如下:

$ sort namesd.txt | uniq –c

2 Alex Jason:200:Sales

2 Emma Thomas:100:Marketing

1 Madison Randy:300:Product Development

1 Nisha Singh:500:Sales

1 Sanjay Gupta:400:Support

3. 以下命令仅仅列出了相同的条目

代码如下:

$ sort namesd.txt | uniq –cd

2 Alex Jason:200:Sales

2 Emma Thomas:100:Marketing

【Linux常用命令之文本处理】相关文章：

大风君heart
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
linux批量删除字符串,Linux sed 批量替换多个文件中的字符串
weixin_28953369的博客
04-28 1121
删除：d命令$ sed '2d'example-----删除example文件的第二行。$ sed '2,$d'example-----删除example文件的第二行到末尾所有行。$ sed '$d'example-----删除example文件的最后一行。$ sed '/test/'dexample-----删除example文件所有包含test的行。替换：s命令$ sed 's/test/my...
linux之sed命令的用法
09-04
Linux中的`sed`命令是一个强大的流编辑器，用于在输入流（文件或管道）中对文本进行实时编辑，而无需创建临时文件。它基于行处理数据，非常适合进行文本的替换、删除、插入和查找等操作。`sed`的灵活性使得它在自动...
linux VI批量删除指定字符串
一步步，一寸寸，一点点，一天天，慢慢来
12-03 1万+
:n,$s/test// //n可以取1，表示从第一行开始删除含有test 百度文库VI替换字符串 http://wenku.baidu.com/view/0dcebde96294dd88d0d26b1a.html
linux批处理中删除字符串,Linuxshell字符串操作详解 - 米扑博客
weixin_34608787的博客
04-28 1243
1、Linux shell 截取字符变量的前8位实现方法有如下几种：expr substr “$a” 1 8echo $a|awk ‘{print substr(,1,8)}’echo $a|cut -c1-8echo $expr $a : ‘\(.\\).*’echo $a|dd bs=1 count=8 2>/dev/null2、按指定的字符串截取(1)第一种方法:从左向右截取最后一个s...
linux 字串替换命令,Linux系统中tr命令删除和替换文本字符的基本用法
weixin_34493096的博客
04-28 897
通过使用 tr，您可以非常容易地实现 sed 的许多最基本功能。您可以将 tr 看作为 sed 的(极其)简化的变体：它可以用一个字符来替换另一个字符，或者可以完全除去一些字符。您也可以用它来除去重复字符。这就是所有 tr 所能够做的。tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转换两个字符串：字符串1用于查询，字符串2用于处理各种...
linux 批处理 删除文件夹,linux中find批量删除空文件及空文件夹脚本
weixin_39528000的博客
04-28 246
#查询30天前log日志并删除；find ./ -type f -name "*.log" -mtime +30|xargs rm -rf#查询出所有的空文件夹find ./ -type d -empty#查询空文件夹并删除find ./ -type d -empty -exec rm -rf {} \;#linux下批量删除空文件(大小等于0的文件)的方法find . -name "*" -t...
入门学习Linux常用必会60个命令实例详解doc/txt
06-09
入门学习Linux常用必会60个命令实例详解 Linux必学的60个命令 Linux提供了大量的命令，利用它可以有效地完成大量的工作，如磁盘操作、文件存取、目录操作、进程管理、文件权限设定等。所以，在Linux系统上工作离不...
Linux常用命令和管理02-bash特性及其用法1
08-08
在Linux操作系统中，Bash（Bourne-Again SHell）是默认的Shell程序，它是一种解释型的脚本语言，常用于批处理任务和自动化管理。Bash不仅提供了命令行交互，还允许用户编写shell脚本来实现更复杂的任务。在深入理解...
Linux jed命令用法详解
01-09
Linux jed命令用于编辑文本文件。 Jed是以Slang所写成的程序，适合用来编辑程序原始代码。 语法 jed [-2n][-batch][-f][-g][-i][-I][-s][文件] 参数： -2 显示上下两个编辑区。 -batch 以批处理模式来执行。 -f 执行...
linux sed命令详解(推荐)
09-15
Linux中的sed命令是一种强大的文本处理工具，用于对输入流（标准输入或文件）进行行处理。它是非交互式的，这意味着用户不能直接与之交互来编辑文本。sed通过逐行读取输入并应用指定的动作来处理文本，这使得它非常...
linux删除目录下指定扩展名文件,linux – 使用bash,如何删除特定目录中所有文件的扩展名？...
weixin_42299566的博客
04-29 244
我想保留文件但删除其扩展名.这些文件没有相同的扩展名.我的最终目标是删除所有扩展并将其更改为我选择的一个扩展.我把第二部分放下了.我的代码到目前为止：#!/bin/bashecho -n "Enter the directory: "read path#Remove all extensionsfind $path -type f -exec mv '{}' '{}'.extension \; #...
linux文件多个扩展名,关于bash:linux:删除多个文件的文件扩展名
weixin_39994296的博客
05-12 140
我有许多扩展名为.txt的文件。如何删除Linux中多个文件的.txt扩展名？我发现rename .old .new *.old替代.old扩展到.new中我还想为子文件夹中的文件执行此操作。rename有点危险，因为根据其手册页：rename will rename the specified files by replacing the first occurrence of...它很乐意对像...
linux 删除包含字符串,删除文件中包含字符串的文件-Linux CLI
weixin_28782251的博客
04-28 1413
我喜欢马丁·贝克特(Martin Beckett)的解决方案，但发现带有空格的文件名可能会使它崩溃(例如谁在文件名中使用空格pfft：D)。 我还想查看匹配的内容，所以我将匹配的文件移动到本地文件夹，而不是仅使用“ rm”命令删除它们：# Make a folder in the current directory to put the matched files$ mkdir -p './mat...
linux 删除包含字符串,linux删除含特殊字符的文件或文件夹
weixin_39661589的博客
04-28 1102
linux系统支持用户创建包含连字符(-)的文件或文件夹，一个错误的操作有时可能会产生以下文件或文件夹：[root@huntdbaa]#touch/tmp/aa/{,-,\\}-{0,1,2,3,4,5}[root@huntdbaa]#ls-0--0\-0-1--1\-1-2--2\-2-3--3\-3-4--4\-4-5-...
shell sed替换、删除文件中的某个字符串
热门推荐
虞美人莉
03-13 5万+
1、将当前目录下包含hello串的文件中，hello字符串替换为hi sed -i "s/hello/hi/g" `grep "hello" -rl ./` 2、将某个文件中的hello字符串替换为hi sed -i "s/hello/hi/g" test.txt
php tr 用法,Linux_Linux系统中tr命令删除和替换文本字符的基本用法，通过使用 tr，您可以非常容易 - phpStudy...
weixin_31659557的博客
03-19 306
Linux系统中tr命令删除和替换文本字符的基本用法通过使用 tr，您可以非常容易地实现 sed 的许多最基本功能。您可以将 tr 看作为 sed 的(极其)简化的变体：它可以用一个字符来替换另一个字符，或者可以完全除去一些字符。您也可以用它来除去重复字符。这就是所有 tr 所能够做的。tr用来从标准输入中通过替换或删除操作进行字符转换。tr主要用于删除文件中控制字符或进行字符转换。使用tr时要转...
删除当前路径下含某个关键字的所有文件
m0_49448331的博客
07-29 3044
1.使用ls命令查找。2.使用find命令。
linux至 sed命令实际工作需求整理【linux系统中删除一个文件种包含指定字符串的所有行、空行】
zhaojiafu的博客
01-28 1240
文章目录一、需求：二、实战：1、sed命令删除特定行号2、删除第N~M行3、删除最后一行4、删除包含"xxx"的行5、删除空行 一、需求： 我如果有几百个文件，需要将含有指定字符串的行删除，我如何做呐？ 最后找的一个sed命令。可以很方便的解决我的问题。 我之前整理过一次linux常用命令的文章，这个算是一个补充吧。 由于，我每次更改原来的文章，再保存，再发布就审核不通过了，不知道是不是CSDN的问题还是咋回事？？？ 所以以后文章我只能新写一个，老的文章粘贴到前面吧。 整理一些linux命令必须熟练掌握常的
Linux Shell 删除一个字符串中的部分字符
什么最重要？算法！！
04-19 3万+
转载网址：http://blog.chinaunix.net/uid-71729-id-114582.html
linux sed命令详解
最新发布
08-13
### 回答1： sed（Stream Editor）是一个非交互式的文本编辑器，它可以对文本进行转换和替换。在Linux系统中，sed命令是一个非常强大的文本操作工具，它可以用来进行文本处理、替换、删除、过滤等操作。 下面是sed命令的一些常用选项和参数： - -n：只输出修改过的行。 - -e：指定要执行的sed命令。 - -i：直接修改文件中的内容，而不是输出到终端。 - -f：从指定的文件中读取sed命令。 - s：替换操作，用于查找并替换指定的字符串。 - d：删除操作，删除指定的行或匹配的字符串。 - p：打印操作，打印匹配的行。 下面是一些常用的sed命令示例： 1. 替换文件中所有的hello为world，并打印输出到终端。 ``` sed 's/hello/world/g' file.txt ``` 2. 替换文件中第5行的hello为world，并直接修改文件。 ``` sed -i '5s/hello/world/' file.txt ``` 3. 删除文件中所有包含hello的行，并打印输出到终端。 ``` sed '/hello/d' file.txt ``` 4. 在文件开头添加一行内容，并直接修改文件。 ``` sed -i '1i\This is a new line.' file.txt ``` 5. 从文件中读取sed命令，并执行命令。 ``` sed -f commands.sed file.txt ``` 以上是一些常用的sed命令示例，当然sed命令还有很多其他的选项和用法，可以通过man sed命令来查看更多详细的信息。 ### 回答2： sed（stream editor）是一种强大的文本处理工具，它在linux系统中被广泛使用。sed命令可以对文本进行编辑、替换、删除等操作。以下是对sed命令的详细解释： 1.基本用法：sed命令通常结合正则表达式来操作文本。它可以从标准输入中读取文本，并将修改后的结果输出到标准输出或指定的文件中。 2.编辑操作：通过sed命令，可以实现文本的增加、修改和删除等编辑操作。例如，我们可以使用sed命令将某个模式替换为指定的字符串，或者使用sed命令在指定位置插入新的文本。 3.替换操作：sed命令的替换操作是其最常用的功能之一。它使用正则表达式来匹配指定的模式，并将其替换为指定的字符串。例如，可以使用sed命令将文本中所有的"apple"替换为"orange"。 4.删除操作：sed命令还可以删除匹配某个模式的文本行。例如，可以使用sed命令删除文件中所有包含指定关键字的行。 5.地址定位：sed命令可以使用地址定位，通过指定行号或正则表达式来定位要操作的文本。例如，我们可以使用sed命令只对文件中的特定行进行操作，而不影响其他行。 6.批处理：sed命令可以批量处理多个文件。可以使用-w选项将修改后的结果保存到原文件中，也可以使用-i选项直接修改原文件。 总之，sed命令非常灵活和强大，可以在文本处理任务中发挥重要作用。通过灵活运用sed命令的编辑、替换和删除等功能，我们可以快速有效地处理和修改大量的文本数据。 ### 回答3： sed命令是一种在Linux系统中非常常用的文本处理工具。它可以用来编辑、替换、删除以及格式化文本。 sed的基本语法是： ``` sed [选项] '[动作]' 文件名 ``` 其中，选项可以用来指定sed的行为，比如-i用来直接修改文件内容；动作是指要执行的操作，如s表示替换操作，d表示删除操作。文件名是要处理的文件。 sed最常用的操作是替换操作，语法如下： ``` sed 's/要替换的内容/替换内容/标志' 文件名 ``` 其中，要替换的内容可以是字符串或正则表达式，替换内容是要替换成的内容，标志可以省略，标志可以是g表示全局替换，可以是数字表示替换第几个匹配的内容。 sed还可以通过正则表达式来匹配文本中的字符，然后进行相应的操作。比如： ``` sed '/^hello/d' 文件名 ``` 这条命令会删除文件中以hello开头的行。 除了替换和删除操作，sed还支持插入、追加、输出等操作。插入操作可以在指定行前插入文本，追加操作可以在指定行后追加文本，输出操作可以将处理后的结果输出到终端或指定文件。 总之，sed命令是一种强大的文本处理工具，通过简单的语法可以完成多种复杂的文本操作。在处理大量文本数据时，使用sed命令可以提高工作效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值