AWK多文件的处理的方式

最新推荐文章于 2024-08-05 22:01:46 发布
最新推荐文章于 2024-08-05 22:01:46 发布
阅读量1.4w 收藏 3
点赞数 4
分类专栏： liunx 文章标签： file 正则表达式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wqq_721/article/details/7639723
版权

直接多文件逐个处理，操作相同：

1、直接输入多个文件名：

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}{if($13==20120530)print $1,$9}' 
Subscriber_20120530.list Subscriber_20120531.list

2、根据正则表达式匹配多个文件：

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}{if($13==20120530)print $1,$9}' 
Subscriber_2012053*.list


对不同文件，执行不同操作：

1、只有两个文件时：（1.NR：已读总记录数     FNR：已读当前文件记录数   2.next：如果结束就执行下一个输入文件）

      1）、格式：awk 'NR==FNR{...}NR>FNR{...}'  file1 file2   或 awk 'NR==FNR{...}NR!=FNR{...}' file1 file2

> awk -F\| '{if($13==20120530){a[$1]=$1}}NR>FNR{if(a[$1]==$1)print $1,$9}'
Subscriber_20120531.list Subscriber_20120530.list
> awk -F\| '{if($13==20120530){a[$1]=$1}}NR!＝FNR{if(a[$1]==$1)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list
 

 

 

 

      2）、格式：awk 'NR==FNR{...;next}{...}' file1 file2
 

> awk -F\| 'NR==FNR{if($13==20120530){a[$1]=$1}next}{if(a[$1]==$1)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list
 

 

2、多于两个文件时：（1.ARGIND：当前被处理参数标志      2.ARGV ：命令行参数数组      3.把文件名直接加入判断）
 

      1）、格式：awk 'ARGIND==1{...}ARGIND==2{...}ARGIND==3{...}... ' file1 file2 file3 ...
 
 

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
ARGIND==1{if($13==20120530){a[$1]=$1}}
ARGIND==2{if(a[$1]==$1 && $9>0)print $1,$9}
ARGIND==3{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list
 


 
 

      2）、格式：awk 'FILENAME==ARGV[1]{...}FILENAME==ARGV[2]{...}FILENAME==ARGV[3]{...}...' file1 file2 file3 ...
 
 

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME==ARGV[1]{if($13==20120530){a[$1]=$1}}
FILENAME==ARGV[2]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[3]{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list
 

 
 

     3）、格式：awk 'FILENAME=="file1"{...}FILENAME=="file2"{...}FILENAME=="file3"{...}...' file1 file2 file3 ...
 
 

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME=="Subscriber_20120531.list"{if($13==20120530){a[$1]=$1}}
FILENAME=="Subscriber_20120530.list"{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME=="Subscriber_20120529.list"{if(a[$1]==$1 && $9>0)print $1,$9}' 
Subscriber_20120531.list Subscriber_20120530.list Subscriber_20120529.list
 


 
 

对于多个文件处理时，只有第一个文件处理方式不同，后面多个（未知个数）文件处理方式一致，如何精简后面部分重复代码，有高手知道请指点下，呵
 
 

 

> awk 'BEGIN{FS="|";OFS="|";print "GSM|BALANCE"}
FILENAME==ARGV[1]{if($13==20120530){a[$1]=$1}}
FILENAME==ARGV[2]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[3]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[4]{if(a[$1]==$1 && $9>0)print $1,$9}
FILENAME==ARGV[5]{if(a[$1]==$1 && $9>0)print $1,$9}
......' 
Subscriber_20120531.list Subscriber_20120530.list 
Subscriber_20120529.list Subscriber_20120528.list 
Subscriber_20120527.list ......
 

 


                

        

        

    

  


    

      

        

            

              
                
                  wqq_721
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    4
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    3
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  1
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
使用awk处理2个文件

				
			

			

				

					gls_liujia的专栏
				

				

					09-15
					
					1738
					
				

			

		

		

			
				
awk中一行是一个记录，awk用$0表示整个行，$1,$2,$3顺序的表示记录的字段，使用-F来指定输入分隔符。输出结构和控制结构类似于C语言。
 
awk中的内置变量：





FS


输入字段分隔符     （－F）




OFS

			
		

	



                

              
                



	

		

			

				
					
linux下awk读取文件,Linux中awk的使用方法详解

				
			

			

				

					weixin_29000891的博客
				

				

					04-29
					
					2225
					
				

			

		

		

			
				
在学习awk之前我们应该都学过sed,grep,tr,cut等等命令，这些命令都是为了方便我们对Linux下文本和数据的处理，但是我们会发现很多时候这些命令并不能一下子就完全解决我们的需求，很多时候我们都需要使用管道符结合这些命令来使用，今天我就给大家介绍一个命令awk，他就能很好的解决我们对文本和数据处理的需求，使我们一条命令就解决很多问题。一、awk命令简介awk被称为文本处理三剑客之一，其名...

			
		

	



                


  
              

                


	

		

			

				
					
awk多文件的处理

				
			

			

				

					weixin_33936401的博客
				

				

					10-02
					
					93
					
				

			

		

		

			
				
一、关于awk的多文件处理：awk的数据输入有两个来源，标准输入和文件，后一种方式支持多个文件，如1、shell的Pathname Expansion方式：awk '{...}'*.txt  
#*.txt先被shell解释，替换成当前目录下的所有*.txt，如当前目录有1.txt和2.txt，则命令最终为awk '{...}' 
1.txt 2.txt2...

			
		

	





	

		

			

				
					
linux文本命令：文本处理工具awk详解

					
最新发布

				
			

			

				

					weixin_70208651的博客
				

				

					08-05
					
					1728
					
				

			

		

		

			
				
awk 是一个强大的文本处理工具，最初为 Unix 系统设计，后来被移植到包括 Linux 在内的多种操作系统中。非常适合用于格式化输出、数据提取和简单的报告生成任务。awk按行处理文本文件，默认使用空格作为字段分隔符，将每一行分割成多个字段，并使用$1,$2, …$n来引用这些字段。其中$0代表整行文本。awk设计之初是为了在文本文件中查找和替换文本，但它现在已经发展成为一个完整的编程语言，能够进行模式匹配和复杂的文本处理。awk不仅仅是一个命令，也是一完整的编程语言，用于模式扫描和处理。

			
		

	



		

			
		



	

		

			

				
					
awk处理文件

				
			

			

				

					qining的专栏
				

				

					02-13
					
					582
					
				

			

		

		

			
				
1.打印第一列和第三列(默认采用空白字符分割)

awk '{print $1, $3}' aaa
2.打印第一列和第三列(指定分隔符)

awk -F"," '{print $1, $3}' aaa

awk 'BEGIN{FS=","} {print $1, $3}' aaa

			
		

	





	

		

			

				
					
awk 处理文件

				
			

			

				

					xjc864588399的博客
				

				

					12-30
					
					305
					
				

			

		

		

			
				
对于两个文件里面想要替换相同的部分，比如下面这样的数据image65799.jpg 1319 415 226 226 0.0180500804059 0.0378295384235 0.125465979668
image18970.jpg 2830 199 446 446 -0.059376889549 -0.0575361034772 0.122458587863


awk '{a[$1]}

			
		

	





	

		

			

				
					
awk 多文件操作2种实现方法

				
			

			

				

					weixin_30577801的博客
				

				

					10-15
					
					184
					
				

			

		

		

			
				
我们经常会将2个有关联文本文件进行合并处理。分别从不同文件获取需要的列，然后，整体输出到一起。awk进行多文件处理时候，常常会遇到2个方面问题，第一个是怎么样合并多个文件为一个文件。第二个问题就是怎么样将多行合并为一行显示。我这里说下我的处理2种方法，还有实现思路。   实例文本：[chengmo@centos5 shell]$ awk 'FNR==1{print "\r\n"FILENAME}...

			
		

	





	

		

			

				
					
sed或awk处理文件最后一行的实现方法

				
			

			

				

					01-11
				

			

		

		

			
				
要求处理后如下所示：abcd 1234 fds2011 550total1:1023 total2:832er 12end 判断如果是文本最后一行则在第一列前面加total1:,第二列加total2:, 第三列后面减掉后面两个字符并加end。 分别用sed与awk来实现。sed： ...

			
		

	





	

		

			

				
					
linuxawk将多个文件结果列合并到一个文件整理.pdf

				
			

			

				

					12-06
				

			

		

		

			
				
awk 是一种功能强大的文本处理工具，可以用来处理和操作文本文件。下面是一个使用 awk 将多个文件结果列合并到一个文件的示例脚本：  test.awk: ```awk #!/usr/bin/awk -f BEGIN {  for (t = 1; t ; t++) {  Index[t...

			
		

	





	

		

			

				
					
AWK文件处理总结

				
			

			

				

					10-27
				

			

		

		

			
				
### AWK 文件处理总结  #### 一、AWK 入门篇  AWK 是一种强大的文本处理工具，常用于Linux/Unix环境下。它允许用户通过简单的脚本语言来进行复杂的文本处理任务。  **基本命令格式**: ```bash awk 'pattern { action...

			
		

	





	

		

			

				
					
awk 处理数据文件

				
			

			

				

					weixin_41565755的博客
				

				

					11-09
					
					301
					
				

			

		

		

			
				
一、数据处理

1、程序


BEGIN {
	k = 0;
} 
{ 
	time[k] = $1;
	energy[k] = $2;
	energy[k] = 200 - energy[k];
	k++;
} 
END{
	for (i=0; i<k; i++) {
		printf("%f %f\n", time[k], energy[k]);
	}
}


2、命令


awk -f...

			
		

	





	

		

			

				
					
awk处理两个文件的方法

				
			

			

				

					04-06
				

			

		

		

			
				
用awk处理两个文件的方法：特定域的合并、替换等

			
		

	





	

		

			

				
					
用awk数组处理两个文件

				
			

			

				

					12-05
				

			

		

		

			
				
主要讲解了关于shell中用awk数组处理文件的用法

			
		

	





	

		

			

				
					
awk文件处理

				
			

			

				

					m0_59659635的博客
				

				

					09-21
					
					1087
					
				

			

		

		

			
				
目录

一、awk 编辑器

1.工作原理

2.命令格式

3.awk 常见的内建变量

二、实例

1.按行输出文本

2.按字段输出文本

3.通过管道符号、双引号调用shell 命令

一、awk 编辑器

在 Linux/UNIX 系统中，awk 是一个功能强大的编辑工具
	能够逐行读取输入文本，并根据指定的匹配模式进行查找，对符合条件的内容进行格式化输出或者过滤处理
	还可以在无交互的情况下实现相当复杂的文本操作
	被广泛应用于 Shell 脚本中，完成各种自动化配置任务
1.工作原理

逐行读

			
		

	





	

		

			

				
					
awk如何处理2个文件

				
			

			

				

					纯，属虚构
				

				

					04-13
					
					5393
					
				

			

		

		

			
				
处理两个文件时，形式如下：
awk 'BEGIN{} {} END{}' file1 file2
 
那么如何判断处理的是哪个文件呢？答案是用NR变量和FNR变量。NR变量随着读取的行数从1递增，FNR也递增，但是，遇到新文件时又回到1。所以，如果NR==FNR，就说明是第一个文件，如果NR！=FNR，就说明是第二个文件。
 
【1】NR与FNR的区别。
文件1：
us.txt
s

			
		

	





	

		

			

				
					
Linux文本处理工具 AWK

				
			

			

				

					海阔天空
				

				

					05-17
					
					1080
					
				

			

		

		

			
				
一：AWK介绍AWK工作原理:主要功能是实现报告生成器，格式化文档，经常用于处理各种文档 自带循环自动读入一行进行处理，行可以自己指定，行的分隔符不一定是回车，每次读入文件的一行，开启一个awk内存空间，多行处理，可以根据分割符切割成字段先执行BEGING，然后读取文件，读入有/n换行符分割的一条记录，然后将记录按指定的域分隔符划分域，填充域，$0则表示所有域,$1表示第一个域,$n表示第n个域,...

			
		

	





	

		

			

				
					
awk 处理文件收集

				
			

			

				

					写代码的小孩
				

				

					12-22
					
					1474
					
				

			

		

		

			
				
#cat account
张三|000001
李四|000002
#cat cdr
000001|10
000001|20
000002|30
000002|15

想要得到的结果是将用户名，帐号和金额在同一行打印出来,如下:

张三|000001|10
张三|000001|20
李四|000002|30
李四|000002|15

[root@Git bash]#

			
		

	





	

		

			

				
					
7.awk文件处理工具

				
			

			

				

					u010198709的博客
				

				

					05-22
					
					418
					
				

			

		

		

			
				
-v 变量名称=值 [ root@node01 ~ ] # awk -v name="martin" 'BEGIN{print name}' martin # 在BEGIN{}模式中定义 [ root@node01 ~ ] # awk 'BEGIN{name="demon";print name}' demon # awk中变量不定义，默认值为空 [ root@node01 ~ ] # awk 'BEGIN{print data}'

			
		

	





	

		

			

				
					
awk打开多个文件的方法

				
			

			

				

					weixin_34400525的博客
				

				

					12-21
					
					124
					
				

			

		

		

			
				
1、当awk读取的文件只有两个的时候，比较常用的有三种方法（1）awk 'NR==FNR{...}NR&gt;FNR{...}' file1 file2 
（2）awk 'NR==FNR{...}NR!=FNR{...}' file1 file2（3）awk 'NR==FNR{...;next}{...}' file1 file2
next表示下一个命令不被执行
2、当awk处理的文件超过两个时，...

			
		

	





	

		

			

				
					
使用awk构建小型语言处理程序

				
			

			

				

					
				

			

		

		

			
				
在数据处理方面，`awk`提供了多种工具，包括处理输入和输出，如改变输入分隔符、多行记录处理、使用`getline`函数获取额外输入，以及将输出重定向到文件或管道。`awk`还能够与其他程序交互，比如调用系统命令和处理...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 1

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值