如何将集群文件转换格式-shell指令将GBK文件转成UTF-8的格式

最新推荐文章于 2020-10-21 17:26:53 发布
最新推荐文章于 2020-10-21 17:26:53 发布
阅读量559 收藏
点赞数
分类专栏： Linux 文章标签： shell hadoop utf-8 集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/charKim/article/details/78812662
版权 
DATE1=$1;
DATE2=$2;
hadoop fs -get /user/tianchao/BUS/2017data/$DATE1.csv ./SZT/ #从别人的集群目录下载文件到自己的本地文件夹
iconv -f gbk -t utf-8 -c ./SZT/$DATE1.csv -o ./SZT/$DATE2  #转换格式
hadoop fs -copyFromLocal ./SZT/$DATE2/ ./SZT/  #上传到集群
rm -r ./SZT/$DATE2;  
rm -r ./SZT/$DATE1.csv; 
#删除本地文件
#for i in {01..31};do sh ./sh/tran_format.sh 200_201707$i 201707$i;done #循环操作








本段代码主要实现从集群下载文件，然后在shell本地转换格式。

将本段代码保存为tran_format.sh文件，在shell命令行输入最后一行代码即可实现批量转换文件格式，并批量删除转换前不需要的文件





                

        

        

    

  


    

      

        

            

              
                
                  叫我三少爷
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                      0
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    0
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                    0
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
shell实例手册

				
			

			

				

					yonggeit的博客
				

				

					05-27
					
					5975
					
				

			

		

		

			
				
shell实例手册
1文件{
touch file       # 创建空白文件
rm -rf 目录名      # 不提示删除非空目录(-r:递归删除 -f强制)
dos2unix        # windows文本转linux文本 
unix2dos        # linux文本转windows文本
enca filename ...

			
		

	



                

              
                



	

		

			

				
					
【万字长文+100余张图】轻松搞定Unix/Linux环境使用，建议收藏！

				
			

			

				

					C语言与CPP编程的博客
				

				

					05-27
					
					1571
					
				

			

		

		

			
				
1 Unix/Linux操作系统介绍

1.1 操作系统的作用

1.1.1 操作系统的目标


	方便：使计算机系统易于使用
	
	
	有效：以更有效的方式使用计算机系统资源
	
	
	扩展：方便用户有效开发、测试和引进新功能
	
程序员相关的海量资料，点击免费获取

1.1.2 操作系统的地位

操作系统在计算机系统中承上启下的地位：向下封装硬件，向上提供操作接口。



1.2 Unix/Linux操作系统介绍

1.2.1 Unix家族


	1965：贝尔实验室（Bell Labs）加入一项由通用

			
		

	



                


  
              

                


	

		

			

				
					
shell脚本将gbk文件转化为utf-8

				
			

			

				

					3-Number
				

				

					07-04
					
					8564
					
				

			

		

		

			
				
使用注意项：
原来文件格式gbk的，否则可能出现utf-8转utf-8乱码。
#!/bin/bash

function gbk2utf(){
    file="$1"
    echo "处理文件 '$file' ..."
    iconv -f gb2312 -t UTF-8 -c "$file" > tmp 
    mv -f tmp "$file"
}

function get

			
		

	





	

		

			

				
					
Linux下GBK->UTF-8文件编码转换，文件后缀名修改

				
			

			

				

					linking530的专栏
				

				

					03-12
					
					3000
					
				

			

		

		

			
				
文件后缀名修改

for i in *.ff; do mv $i ${i%%\.*}.h; done  


Linux命令行下查看看文件的编码
enca 文件名
Linux文件名编码批量转换
convmv -f 源编码 -t 新编码 [选项] 文件名
常用参数：
-r 递归处理子文件夹
--notest 真正进行操作，请注意在默认情况下是不对文件进行真实操作的，而只是试验。

			
		

	



		

			
		



	

		

			

				
					
spark如何读入GBK编码文件解决办法

				
			

			

				

					踩坑小王子
				

				

					12-11
					
					5580
					
				

			

		

		

			
				
问题描述
初学大数据处理框架 spark ,在读入实验的数据时,遇到了经典的字符编码问题
实验环境:

os:ubuntu 18.04
spark: version 2.4.0

使用spark读入的文件编码是 gbk,大小是10Gb
根据spark的文档介绍,使用的函数是
SparkConf conf = new SparkConf().setAppName("first").setMaster...

			
		

	





	

		

			

				
					
Hadoop字符集转换问题

				
			

			

				

					弱思的专栏
				

				

					02-20
					
					3087
					
				

			

		

		

			
				
hadoop中输入文件是GBK，这个是后需要进行转换。
这个教程就是进行转换的办法，实际使用OK。

			
		

	





	

		

			

				
					
linux常用命令-part3

				
			

			

				

					chinayuan的专栏
				

				

					05-01
					
					2万+
					
				

			

		

		

			
				
中文怎么发音
Ubuntu 有奔头，乌版图
Fedora 费德勒，菲朵拉
Debian 迪扁，德槟
CentOS 桑托斯 森头斯  
   
Linux发展历史:
1) RedHat ---> 1.RedHat
               2.CentOS
               3.Fedora  桌面图形系统
   
   rpm, yum 命令


2) 

			
		

	





	

		

			

				
					
linux常用命令-part2

				
			

			

				

					chinayuan的专栏
				

				

					05-01
					
					2万+
					
				

			

		

		

			
				
Ubuntu,Fedora,Debian,CentOS中文怎么发音
有奔头， 费德勒， 迪扁， 桑托斯。
乌版图 菲朵拉 德槟 森头斯


================================
使用find和wc命令统计代码行数
================================
wc -l `find . -name "*.js" | xargs`



			
		

	





	

		

			

				
					
PHP 面试总结（持续更新） --小丑

				
			

			

				

					Yan 小铁匠
				

				

					03-18
					
					1912
					
				

			

		

		

			
				
Session与cookie的区别？
cookie数据存放在客户的浏览器上，session数据放在服务器上，以文件的形式存放，可以从php.ini里面的session.save_path找到存放位置    cookie不是很安全 ，cookie可以进行cookie欺骗，别人可以获取cookie中的session    id考虑到安全应当使用session。 session会在一定时间内保存在服务器...

			
		

	





	

		

			

				
					
hadoop读取hdfs文件中的中文乱码解决办法

				
			

			

				

					gywtzh0889的专栏
				

				

					03-15
					
					1万+
					
				

			

		

		

			
				
FileSystem fs = FileSystem.get(conf);
Path file = new Path("hdfs://localhost:9000/wordcount/data/word.txt");
FSDataInputStream inStream = fs.open(file);
BufferedReader bf=new BufferedReader(new Inp

			
		

	





	

		

			

				
					
大数据系统-Hive的3种数据存储格式

				
			

			

				

					数据笔记
				

				

					11-21
					
					1万+
					
				

			

		

		

			
				
    关系数据库里有表（table），分区，hive里也有这些东西，这些东西在hive技术里称为hive的数据模型。今天本文介绍hive的数据类型，数据模型以及文件存储格式。这些知识大家可以类比关系数据库的相关知识。　　首先我要讲讲hive的数据类型。　　Hive支持两种数据类型，一类叫原子数据类型，一类叫复杂数据类型。　　原子数据类型包括数值型、布尔型和字符串类型，具体如下表所示：基本数据类型...

			
		

	





	

		

			

				
					
单实例GI环境转换为集群ASM环境RAC

				
			

			

				

					cixiancuo7012的博客
				

				

					06-16
					
					184
					
				

			

		

		

			
				
本文包含两部分的内容：

  1. 单机ASM转换为集群ASM;
  2. 单实例数据库转换为集群数据库；

  由于MOS452758.1提到的数据库版本为11.2.0.3，按官方文档操作...

			
		

	





	

		

			

				
					
linux shell 批量更改文件编码格式 gbk到utf-8

				
			

			

				

					carmazhao的专栏
				

				

					11-01
					
					6153
					
				

			

		

		

			
				
for i in `find ./  -type f -name '*.TXT'` ;
do
        echo $i
        echo ${i}.tmp
        iconv -f gbk -t utf-8  $i>${i}.tmp
        mv ${i}.tmp $i;
done

			
		

	





	

		

			

				
					
hadoop HDFS常用文件操作命令 命令基本格式:

				
			

			

				

					
				

				

					09-20
					
					436
					
				

			

		

		

			
				
1
			
			
			hadoop fs-cmd < args >
			
		1. ls　　列出hdfs文件系统根目录下的目录和文件


			1
			
			
			hadoop fs-ls/dir
			
		
			1
			
			
			hadoop fs-ls-R/dir--列出hdfs文件系统所有的目录和...

			
		

	





	

		

			

				
					
Spark 处理中文乱码问题（UTF-8编码）

					
热门推荐

				
			

			

				

					Amber_amber的专栏
				

				

					12-03
					
					3万+
					
				

			

		

		

			
				
问题场景
要用spark处理一大堆微信日志数据，日志存放在HDFS上，是xml格式，里面有大量的中文。用scala + java实现了xml的处理逻辑，其中有一步是要获取xml中的一个title字段，中文。不管怎么抓取，最终得到的中文都会变成一堆“？？？？？”，乱码了。从xml中获取非中文字段，没有任何问题。也就是说，代码的逻辑是没什么问题的。

			
		

	





	

		

			

				
					
将编码格式为utf8转换为GBK的一个脚本

				
			

			

				

					USBdrivers的专栏
				

				

					01-09
					
					1571
					
				

			

		

		

			
				
最近公司在做银接通的项目，本地linux主机的系统编码为utf-8，在本地编写C程序用来生成批量文件后再FTP到目标机器被解析，可目标机器系统编码为GBK,解析结果不正确，究其原因为编码不同，下面是一个能将文件编码为utf8转换为gbk的脚本，实现了要求。
#!/bin/bash
#usage: ./utf8-gbk.sh oldDir newDir


function fun_dir

			
		

	





	

		

			

				
					
将文字或txt转换成GBK或者UTF8编码

				
			

			

				

					石宗昊的博客
				

				

					10-21
					
					1万+
					
				

			

		

		

			
				
将文字或txt转换成GBK或者UTF8编码
用到的工具 Sublime Text 3  点击下载

安装好后
打开界面输入ctrl+shift+p键 界面弹出输入框

输入install package 回车  意思是要安装某些插件

在弹出的输入框输入 GBK 第一个就是，我这里已经安装好插件了

这里就是要保存成的编码格式
测试：
新建了个txt然后点击的是保存成GBK格式，会在当前目录生成一个.dump的文件，这个就是GBK编码的文件了

看效果

不会的可以私信我

...

			
		

	





	

		

			

				
					
一键安装kube-prometheus到k8s集群

				
			

			

				

					
				

			

		

		

			
				
"k8s集群安装kube-prometheus的自动化脚本，适用于多个kube-prometheus版本，包括PrometheusOperator、Prometheus、node-exporter、PrometheusAdapter、kube-state-metrics和Grafana。脚本支持指定节点IP、修改端口...

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		评论	
	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值