MySQL导入Hive - DataX方案

最新推荐文章于 2024-09-03 23:05:14 发布
最新推荐文章于 2024-09-03 23:05:14 发布
阅读量1.1w 收藏 6
点赞数 1
分类专栏： Data 文章标签： hive 数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thriving_fcl/article/details/77279026
版权
本文介绍了如何使用阿里开源的DataX工具将数据从MySQL高效地导入到Hive，避免了sqoop可能的数据倾斜问题。DataX通过配置json文件实现MySQLreader与HDFSwriter的连接，通过shell和python脚本进行参数化配置和任务封装，简化了导入流程。
摘要由CSDN通过智能技术生成

MySQL导入Hive可以用sqoop或者dump到本地再load into的方式导入Hive。

还有一种方式就是用阿里开源的DataX，试了一下还挺方便的。用sqoop经常会出现数据倾斜的情况，DataX暂时还没有遇见。

要使用DataX只需要填写一个json格式的配置文件即可，整个安装和使用的方法参照官方给出的Quick Start即可。

配置文件中，主要填写mysqlreader与hdfswriter的信息。虽然是MySQL导入Hive表，但因为Hive的数据实际上是存在HDFS中，因此没有单独的hivewriter，用hdfswriter即可。相关参数的文档见：https://github.com/alibaba/DataX/blob/master/hdfswriter/doc/hdfswriter.md

但是每个任务都去填JSON文件也比较繁琐，比如jdbcUrl的配置，MySQL的username和password等，当然希望以参数的形式填写，这样以后要换只要改配置文件就好。还有DataX导入HDFS的形式只有append与nonConflict，不支持insert overwrite这种形式，重跑数据还要手动去truncate就太麻烦了。所以为了方便做一些前后处理以及传入参数，还是使用shell来封装一系列的命令，中间再使用python来动态生成json配置文件更好。

python的代码大概如下


                

                
                
        

        

    

  


        

            

                    
                      最低0.47元/天 解锁文章
                        
                    
            

        

    

      

        

            

              
                
                  thriving_fcl
                
              
            

            

                关注
              
            

        

        

          
      

      

            

                专栏目录
          









                



	

		

			

				
					
大数据DataX（四）：MySQL导入到Hive

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					02-19
					
					1022
					
				

			

		

		

			
				
MysqlReader插件实现了从Mysql读取数据。简而言之，MysqlReader通过JDBC连接器连接到远程的Mysql数据库，并根据用户配置的信息生成查询SELECT SQL语句，然后发送到远程Mysql数据库，并将该SQL执行返回结果使用DataX自定义的数据类型拼装为抽象的数据集，并传递给下游Writer处理。将MySQL的数据导入到Hive中使用到的“MysqlReader”和“hdfswriter”两个插件，先将mysql数据导入到HDFS中，创建Hive表映射对应的路径即可。

			
		

	



                

              
                



	

		

			

				
					
DataX之MySQL数据写入Hive

				
			

			

				

					docsz的博客
				

				

					04-30
					
					1958
					
				

			

		

		

			
				
1、编写脚本mysql-to-hive.json
{
    "job": {
        "setting": {
            "speed": {
                 "channel": 3
            },
            "errorLimit": {
                "record": 0,
                "percentage": 0.02
            }
        },
        "c

			
		

	



                


  
              

                


	

		

			

				
					
datax导入到hive的数据量翻倍

				
			

			

				

					cclovezbf的博客
				

				

					03-02
					
					1088
					
				

			

		

		

			
				
append，写入前不做任何处理，data-ingestion hdfswriter直接使用filename写入，并保证文件名不冲突。按道理来说第二次应该把第一次的数据文件删除，可是别人也没跑完，而且还不在同一个目录。因为hive的数据底层就是文件，有文件就有数据，这中间并没有像mysql这种插入一条数据这种事务关系。就是在这里rename之前 判断目录下是否有文件，有文件就删除！2.在我rename之前我发现突然又有文件了，那我就把自己删了。1.删文件，结果前面的都删完了，那我就不删了呗。

			
		

	





	

		

			

				
					
DataX的如何使用hdfsreader/writer

					
最新发布

				
			

			

				

					别人笑我太疯癫，我笑他人看不穿。
				

				

					09-03
					
					743
					
				

			

		

		

			
				
从hive数据里抽，一般就上面这两种情况，注意原生情况下hdfsreader是没有提供数据过滤能力，就是where，因为抽取的时候一般都是按分区抽，或者干脆就是全量，对于where的需求在hive里面就已经解决了，一般是做一个dwd报表，说白了数据从hive出来的时候就没有where的业务必要，所以hdfsreader就不含有这种能力，在使用DataX的时候，对于高可用的Hadoop集群，要注意一点，我上面写的例子都是直接指定的namenode，如果你要把抽取程序运行到高可用的集群上的话，就要在。

			
		

	



		

			
		



	

		

			

				
					
DataX导数据从mysql到hive回顾

				
			

			

				

					默主归沙的博客
				

				

					09-27
					
					1233
					
				

			

		

		

			
				
注意：一定要先开启meta，再开启hive！太久没碰datax了，没想到真的忘记了。mysql可以确定一下表。

			
		

	





	

		

			

				
					
[使用DataX采集Mysql数据到Hive]

				
			

			

				

					pblh123的专栏
				

				

					09-22
					
					3199
					
				

			

		

		

			
				
Centos上安装MySQL，安装Hive，启动Hadoop和Hive，Hive中建表，安装DataX
DataX导入导出文件配置，一键启动Hive
启动DataX导入数据及结果检查

			
		

	





	

		

			

				
					
數據集成平台：datax將MySQL數據同步到hive（全部列和指定列）

				
			

			

				

					m0_37759590的博客
				

				

					02-24
					
					940
					
				

			

		

		

			
				
數據集成平台：datax將MySQL數據同步到hive（全部列和指定列）

			
		

	





	

		

			

				
					
利用DataX实现hive到MySQL

				
			

			

				

					weixin_53323742的博客
				

				

					05-25
					
					3691
					
				

			

		

		

			
				
一、DataX是什么（https://github.com/alibaba/DataXhttps://github.com/alibaba/DataX）

（1）异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle 等)、HDFS、Hive、ODPS、HBase、FTP 等各种异构数据源之间稳定高 效的数据同步功能。





（2）支持的数据源



（3）运行原理



Job：单个作业的管理节点，负责数据清理、子任务划分、TaskGroup监控管理。

Task：由Job切.

			
		

	





	

		

			

				
					
datax数据从hive导入mysql数据缺失解决

				
			

			

				

					01-18
				

			

		

		

			
				
### DataX 数据从 Hive 导入 MySQL 数据缺失解决  #### 背景介绍 在大数据处理领域，Hive 和 MySQL 分别作为数据仓库与关系型数据库的重要组成部分，在数据流转过程中承担着关键角色。Hive 通常用于存储海量数据并...

			
		

	





	

		

			

				
					
datax实战-mysql同步数据到hive

				
			

			

				

					01-07
				

			

		

		

			
				
{  job: {  setting: {  speed: {  channel: 1  },  errorLimit: {  record: 0,  percentage: 0.02  }  },  content: [  {  reader: {

			
		

	





	

		

			

				
					
datax-es:从mysql导入es 重写代码

				
			

			

				

					05-16
				

			

		

		

			
				
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...

			
		

	





	

		

			

				
					
DataX之Hive-to-MySQL

				
			

			

				

					docsz的博客
				

				

					02-22
					
					991
					
				

			

		

		

			
				
1、脚本
{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": 

			
		

	





	

		

			

				
					
DataX-MySQL-to-Hive之Hadoop HA

				
			

			

				

					docsz的博客
				

				

					02-22
					
					262
					
				

			

		

		

			
				
1、脚本
{
    "setting": {},
    "job": {
        "setting": {
            "speed": {
                "channel": 2
            }
        },
        "content": [
            {
				"reader": {
                    "name": "mysqlreader",
                    "para

			
		

	





	

		

			

				
					
大数据DataX（五）：Hive导入到MySQL

				
			

			

				

					Lansonli（蓝深李）的博客
				

				

					02-20
					
					1265
					
				

			

		

		

			
				
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。将Hive数据导入到MySQL需要使用到“hdfsreader”和“MySQLWriter”插件，下面介绍以上两种插件。

			
		

	





	

		

			

				
					
【Spark数仓项目】需求八：MySQL的DataX全量导入和增量导入Hive

				
			

			

				

					qq_31412425的博客
				

				

					07-14
					
					1968
					
				

			

		

		

			
				
本需求将模拟从MySQL中向Hive数仓中导入数据，数据以时间分区。测试两种导入场景，一种是将数据全量导入，即包含所有时间分区；另一种是每天运行调度，仅导入当天时间分区中的用户数据。mysql表建表语句：hive注意字段时间戳，我们将从以上MySQL向Hive导入数据。编写datax的json脚本"job" : {执行导入操作在mysql中添加测试数据   导入mysql中7-11的数据到hive下7-11分区在hive下创建分区运行dataX脚本。

			
		

	





	

		

			

				
					
datax做增量导入数据到hive:mysql＞hive

				
			

			

				

					limenghao2002的博客
				

				

					08-09
					
					1128
					
				

			

		

		

			
				
datax做增量导入mysql数据到hive

			
		

	





	

		

			

				
					
如何使用 datax 将 mysql 中的数据拉取到 hive ？

				
			

			

				

					qq_43368947的博客
				

				

					07-09
					
					1744
					
				

			

		

		

			
				
需求
使用datax将mysql中的数据拉取到hive的ods层
步骤
首先在mysql中确定好需要拉取的表user_extend，
然后对应在hive中创建好空表，等待拉取
这里对应创建的hive表格如下
CREATE TABLE snbap_ods.ods_user_extend (
  user_id bigint   ,
  user_gender bigint   ,
  is_pregnant_woman tinyint  ,
  is_have_children tinyint  ,
  is

			
		

	





	

		

			

				
					
Datax从Hive中导出数据写入到MySQL

				
			

			

				

					wowSpark
				

				

					05-08
					
					4263
					
				

			

		

		

			
				
Datax从Hive中导出数据写入到MySQL读取Hive数据时，Datax内部支持的数据类型脏数据错误类型的解决方法
读取Hive数据时，Datax内部支持的数据类型
Hive1.2.x 版本支持的数据类型已经很丰富了，但是Datax目前还支持不了这么多的数据类型，如果不注意的话，将会抛出很多奇怪的问题：比如 脏数据 的问题。




DataX 内部类型
Hive表 数据类型




Long
TINYINT,SMALLINT,INT,BIGINT


Double
FLOAT,DOUBLE


Str

			
		

	





	

		

			

				
					
【DataX】windows下本地DataX同步hive到mysql，hive带Kerberos认证

				
			

			

				

					airyv的博客
				

				

					05-01
					
					658
					
				

			

		

		

			
				
修改job文件中keytab与conf文件的路径为本地路径，这两个文件中有hosts修改过的地址，所以需要将linux下的hosts复制到win下的hosts。windows下本地debug运行同步，hive到mysql，其中hive带Kerveros认证的方法如下。下载https://github.com/steveloughran/winutils。解决方法：拷贝hive.keytab和krb5.conf文件到win系统。下载对应版本到本地，设置环境变量。修改datax.py路径。

			
		

	





	

		

			

				
					
datax hive到mysql 数据丢失

				
			

			

				

					09-04
				

			

		

		

			
				
当使用DataX将数据从Hive导出到MySQL时，可能会出现数据丢失的情况。出现数据丢失的原因可能有以下几种：

1. 数据源问题：首先，需要检查Hive中的数据是否完整，是否包含了所有需要导出的数据。可以通过查询Hive表来确认数据的完整性。

2. 数据过滤问题：在DataX的配置中，可能会对数据进行了过滤操作，例如使用了查询条件、选择了特定列等。如果过滤条件设置不正确，可能会导致一部分数据被漏掉。

3. 数据类型不匹配：Hive和MySQL有着不同的数据类型，在数据导出过程中，可能会发生类型转换导致数据丢失的问题。在配置DataX时，需要确保Hive和MySQL的数据类型匹配，以避免数据丢失。

4. 数据写入问题：在将数据从Hive导入到MySQL的过程中，可能会发生写入错误或网络中断等问题，导致数据丢失。在这种情况下，需要检查DataX的日志或MySQL的错误日志，以确定是否有异常情况发生。

为了解决数据丢失的问题，可以采取以下措施：

1. 检查数据源和目标数据库的数据完整性，确保数据源的数据没有问题。

2. 检查DataX的配置文件，确认过滤条件和数据类型匹配条件是否正确设置。

3. 对于数据量较大的导出任务，可以考虑分批导出，以降低出现问题的风险。

4. 在导出过程中，定期备份数据，并且在数据导出完成后进行数据校验，确保目标数据库中的数据和源数据一致。

总之，数据丢失问题可能是由于数据源、配置、数据类型或写入问题引起的。通过对数据源和配置进行仔细检查，以及采取一些预防措施，可以减少数据丢失的可能性。

			
		

	



              




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值