hive数据使用datax导入到clickhouse

最新推荐文章于 2024-05-29 21:44:01 发布
最新推荐文章于 2024-05-29 21:44:01 发布
阅读量1.4k 收藏 11
点赞数 1
文章标签： hive big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/select_where/article/details/120272600
版权
本文介绍了如何从Hive将数据迁移到ClickHouse，包括在Hive和ClickHouse中创建表格的语法，以及使用DataX进行数据同步的配置文件设置。在迁移过程中，注意字段类型的对应以及数据分隔符和NULL值的处理。同时，提到了可能存在的版本差异导致的数据类型默认设置问题。
摘要由CSDN通过智能技术生成

首先hive创建表格：

drop table test.test;
create table if not exists test.test(
    userId String COMMENT '用户id',
    custCreateddate String COMMENT '用户创建时间',
    orderId String COMMENT '订单id',
    orderCreateddate String COMMENT '订单创建时间',----订单创建时间
    orderPaystatus  String COMMENT '订单支付状态(F:不付款,U:待付款,P:部分付款,A:已付款,M:多付款,PR:待退款,RD:已退款,PRD:部分退款,MRD:多退款,ODP:超时未支付)',
    orderPayamount Float COMMENT '订单实付金额',--订单实付金额
    orderTotalamount Float COMMENT '订单应付金额',---订单应付金额
    projectId2 String COMMENT '二级项目id',----项目id
    projectName2 String COMMENT '二级项目名称',
    projectId String COMMENT '一级项目id', -- 客户关注一级项目id
    projectName String COMMENT '一级项目名称',
    schoolareaId String COMMENT '大区id', --大区id
    schoolareaName String COMMENT '大区名称',
    schoolId String COMMENT '分校id', --分校id
    schoolName String COMMENT '分校名称',
    custSourcechannel2 String COMMENT '客户二级来源id', -- 客户二级来源id
    custSourcechannelname2 String COMMENT '客户二级来源名称',
    custSourcechannel String COMMENT '客户一级来源id', -- 客户一级来源id
    custSourcechannelname String COMMENT '客户一级来源名称'
)comment '订单中心课程订单页面'
row format delimited FIELDS TERMINATED BY '\u0001' 
NULL DEFINED AS '' STORED AS orc;

这里可选择的文件类型只用五种，选择orc格式存储

clickhouse创建表格：

create table if not exists test.test(
userId String COMMENT '用户id',
custCreateddate DateTime COMMENT '用户创建时间',
orderId String COMMENT '订单id',
orderCreateddate DateTime COMMENT '订单创建时间',
orderPaystatus  String COMMENT '订单支付状态(F:不付款,U:待付款,P:部分付款,A:已付款,M:多付款,PR:待退款,RD:已退款,PRD:部分退款,MRD:多退款,ODP:超时未支付)',
orderPayamount Float32 COMMENT '订单实付金额',
orderTotalamount Float32 COMMENT '订单应付金额',
projectId2 String COMMENT '二级项目id',
projectName2 String COMMENT '二级项目名称',
projectId String COMMENT '一级项目id',
projectName String COMMENT '一级项目名称',
schoolareaId String COMMENT '大区id',
schoolareaName String COMMENT '大区名称',
schoolId String COMMENT '分校id',
schoolName String COMMENT '分校名称',
custSourcechannel2 String COMMENT '客户二级来源id',
custSourcechannelname2 String COMMENT '客户二级来源名称',
custSourcechannel String COMMENT '客户一级来源id',
custSourcechannelname String COMMENT '客户一级来源名称')
ENGINE = MergeTree() PARTITION BY toYYYYMMDD(orderCreateddate) 
ORDER BY (schoolareaId,projectId,schoolId,projectId2,userId) SETTINGS index_granularity = 8192;

这里要和hive中表字段一一对应，设置toYYYYMMDD(orderCreateddate)分区不会影响数据导入；

datax 文件配置

{                                                                                                                                                                                     
    "job":{                                                                                                                                                                           
        "setting":{                                                                                                                                                                   
            "speed":{                                                                                                                                                                 
                "channel":9                                                                                                                                                          
            },                                                                                                                                                                        
            "errorLimit":{                                                                                                                                                            
                "record":0,                                                                                                                                                           
                "percentage":0.01                                                                                                                                                     
            }                                                                                                                                                                         
        },                                                                                                                                                                            
        "content":[                                                                                                                                                                   
            {                                                                                                                                                                         
                "reader":{                                                                                                                                                            
                    "name":"hdfsreader",                                                                                                                                              
                    "parameter":{                                                                                                                                                     
                        "hadoopConfig":{                                                                                                                                              
                            "dfs.nameservices":"tqHadoopCluster",                                                                                                                     
                            "dfs.ha.namenodes.tqHadoopCluster":"worker-1,worker-2,worker-4,worker-5",                                                                                                        
                            "dfs.namenode.rpc-address.tqHadoopCluster.worker-1":"XXX.XXX.XXX.XXX:8020", 
							"dfs.namenode.rpc-address.tqHadoopCluster.worker-2":"XXX.XXX.XXX.XXX:8020",	
                            "dfs.namenode.rpc-address.tqHadoopCluster.worker-4":"XXX.XXX.XXX.XXX:8020", 
							"dfs.namenode.rpc-address.tqHadoopCluster.worker-5":"XXX.XXX.XXX.XXX:8020",							
                            "dfs.client.failover.proxy.provider.tqHadoopCluster":"org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider"                          
                        },                                                                                                                                                            
                        "defaultFS":"hdfs://header-1:9000",                                                                                                                       
                        "path":"/user/hive/warehouse/test.db/test",                                                                                          
                        "column":[                                                                                                                                                    
                            {"index":0,"type":"string"},                                                                                                                                                         
                            {"index":1,"type":"string"},                                                                                                                                                          
                            {"index":2,"type":"string"},                                                                                                                              
                            {"index":3,"type":"string"},                                                                                                                                                          
                            {"index":4,"type":"string"},                                                                                                                              
                            {"index":5,"type":"double"},                                                                                                                                                          
                            {"index":6,"type":"double"},                                                                                                                              
                            {"index":7,"type":"string"},                                                                                                                                                          
                            {"index":8,"type":"string"},                                                                                                                              
                            {"index":9,"type":"string"},                                                                                                                                                          
                            {"index":10,"type":"string"},                                                                                                                             
                            {"index":11,"type":"string"},                                                                                                                                                          
                            {"index":12,"type":"string"},                                                                                                                             
                            {"index":13,"type":"string"},                                                                                                                                                         
                            {"index":14,"type":"string"},                                                                                                                             
                            {"index":15,"type":"string"},                                                                                                                             
                            {"index":16,"type":"string"},                                                                                                                                                         
                            {"index":17,"type":"string"},                                                                                                                                                          
                            {"index":18,"type":"string"}                                                                                                                        
                                                 ],                                                                                                                                                            
                        "fileType":"orc",                                                                                                                                             
                        "encoding":"UTF-8",                                                                                                                                           
                        "fieldDelimiter":"\u0001",                                                                                                                                    
                        "nullFormat":"\\N"                                                                                                                                               
                    }                                                                                                                                                                 
                },                                                                                                                                                                    
                "writer":{                                                                                                                                                            
                    "name":"clickhousewriter",                                                                                                                                        
                    "parameter":{                                                                                                                                                     
                        "username":"XXXXX",                                                                                                                                         
                        "password":"XXXXX@XXX",                                                                                                                                    
                        "column":[                                                                                                                                                    
								"userId",
								"custCreateddate",
								"orderId",
								"orderCreateddate",
								"orderPaystatus",
								"orderPayamount",
								"orderTotalamount",
								"projectId2",
								"projectName2",
								"projectId",
								"projectName",
								"schoolareaId",
								"schoolareaName",
								"schoolId",
								"schoolName",
								"custSourcechannel2",
								"custSourcechannelname2",
								"custSourcechannel",
								"custSourcechannelname"  
                        ],                                                                                                                                                            
                        "connection":[                                                                                                                                                
                            {                                                                                                                                                         
                                "jdbcUrl":"jdbc:clickhouse://xxx.xxx.xxx.xxx:8123/test",                                                                                         
                                "table":[                                                                                                                                             
                                    "test"                                                                                                                  
                                                                                                                                                                                      
                                ]                                                                                                                                                     
                            }                                                                                                                                                         
                        ]                                                                                                                                                             
                    }                                                                                                                                                                 
                }                                                                                                                                                                     
            }                                                                                                                                                                         
        ]                                                                                                                                                                             
    }                                                                                                                                                                                 
}

配置文件 不知是不是版本问题，json配置文件为数据为int、float、double型时文件默认double，否则会报错,其他数据类型都用string,目前还不能确定是如何造成的。

select_where
关注
  • 1
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse
07-31
建立Hive和Hbase的映射关系，通过Spark将Hive表中数据导入ClickHouse对应的jar包
Datax支持clickhouse
08-05
在标题提到的"Datax支持clickhouse"，意味着Datax已经扩展了对ClickHouse数据库的兼容性，使得我们可以利用Datax将数据从其他数据源导入到ClickHouse中。 ClickHouse是一款高性能的列式存储数据库管理系统（MPP），...
使用datax将hive中的数据导入到clickhouse
涂作权的博客
05-08 2936
{ "core": { "transport": { "channel": { "speed": { "byte": 10485760 } } } }, "job": { "setting": {
ClickHouse 与其他数仓架构的对比——Clickhouse 架构篇（四）
最新发布
奔跑的蜗牛的博客
05-29 1727
本文介绍了3种常用的数据仓库（Hive, HBase, Kylin）解决方案的架构以及与ClickHouse的不同之处。这3种数据仓库解决方案都是基于分布式的前提进行的优化，而ClickHouse另辟蹊径，通过提高单机能力实现一定程度上的实时OLAP引擎，这种思路值得我们细细品味。数据文件的组织会影响查询的性能。按行存储的数据相比于按列存储的数据在分析时相对更慢。
Datax从入门到精通06-Hive分区表同步数据到clickhouse实操
欲望以提升热忱 毅力以磨平高山
07-07 5557
一、前置说明 clickhouse 版本：ClickHouse client version 20.3.12.112 waterdrop 环境：waterdrop-1.5.0 集群部署：4台机器（32core,64GB）查询时候使用nginx负载均衡。 二、Hive数据导入ClickHouse方案 应用场景： 鉴于clickhouse优秀的写入和查询性能，我们决定将hive中小时表的分区数据导入到clickhouse进行数据分析。初测：3千万的hive表写入postgresql需要400min+(jd
如何快速地将Hive中的数据导入ClickHouse
热门推荐
Ricky点滴
11-28 1万+
如何快速地将Hive中的数据导入ClickHouse ClickHouse是面向OLAP的分布式列式DBMS。我们部门目前已经把所有数据分析相关的日志数据存储至ClickHouse这个优秀的数据仓库之中，当前日数据量达到了300亿。 在之前的文章如何快速地把HDFS中的数据导入ClickHouse中我们提到过使用Waterdrop——https://github.com/InterestingL...
一百二十八、Kettle——从Hive增量导入到ClickHouse(根据create_time字段判断)
tiantang2renjian的博客
07-12 827
Kettle——从Hive增量导入到ClickHouse(根据create_time字段判断)
DataX数据的迁移（MySQL、HDFS，Hive）
04-12
1.将Mysql中的数据迁移到Hdfs文件系统中，然后通过Hive加载HDFS文件系统中的数据值 2.将Hive中的数据迁移到指定Mysql数据库中 注意点： 1.数据迁移的过程中，由于hive的Null值存储为"\N"，Mysql存储为NULL值，二者...
datax数据从hive导入mysql数据缺失解决
01-18
在使用 DataX 将数据从 Hive 表导入 MySQL 表的过程中，遇到了数据缺失的问题。具体表现为，在某些特定条件下（如数据块大小超过 256M 时），导入到 MySQL 的数据量少于预期。 #### 现象分析 根据观察发现，当数据...
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
从hive导入数据到clickhouse中
lin的专栏
10-17 4691
一、从hive中导出csv格式的数据： hive -e "select * from tablename limit 1000" | tr "\t" "," > /opt/hadoop/tablename.csv 二、把csv格式的数据导入到clickhouse中： clickhouse-client -h 127.0.0.1 --query='INSERT INTO tablena...
datax插件|clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步|2020修正版
08-01
datax的clickhouse读写插件,由开源产品修复, 适用于clickhouse读写插件|同步mysql,oracle等数据到clickhose中或者反向同步,2020修正版
datax-web:DataX集成可视化页面，选择数据源即可使用一键生成数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，批量创建RDBMS数据同步任务，集成嵌入式调度系统，支持分布式，增量同步数据，实时查看运行日志，监控执行器资源，KILL运行进程，数据源信息加密等
03-22
数据网 DataX Web是在DataX之上开发的分布式数据同步工具，提供简单易用的操作界面，减少用户使用DataX的学习成本，更改任务配置时间，避免配置过程中出错。用户可以通过页面选择数据源即可创建数据同步任务，支持RDBMS，Hive，HBase，ClickHouse，MongoDB等数据源，RDBMS数据源可批量创建数据同步任务，支持实时查看数据同步进度及日志并提供终止同步功能，集成并二次开发xxl -job可根据时间，自增主键增量同步数据。 任务“执行器”支持部署，支持执行器多字节路由策略选择，支持超时控制，失败重试，失败中断，任务依赖，执行器CPU。内存。负载的监控等等。后续提供更多的数据源支持，数据转换UDF，表结构同步，数据同步血缘等更复杂的业务场景。 架构图： 系统要求 语言：Java 8（jdk版本建议1.8.201以上） Python2.7（支持Python3需要修改
Hive几种数据导入方式
02-26
Ambari搭建hadoop环境下，hive的数据导入
二百二十三、Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
tiantang2renjian的博客
02-19 1310
Kettle——从Hive增量导入到ClickHouse(根据day字段判断)
Clickhouse 从S3/Hive导入数据
我是坏人哦
06-23 2063
我们的埋点数据上传到S3，大概是每天10亿条的数据量级别。最近花了一些时间思考和学习如何将每天如此大量的数据从S3导入到Clickhouse，为后续的实时查询做准备。
Hive 数据同步ClickHouse
lwei_998的专栏
02-09 6552
需求：按条件筛选Hive表中的数据同步到ClickHouse中 方法一： 按照ClickHouse 官方文档提供的方法，在ClickHouse 中创建HDFS引擎表，读取Hive的数据，将读取的数据插入到ClickHouse本地表中。 缺点： 1.需要在clickhouse中创建两张表 2.如果Hadoop集群压力比较大，在读取HDFS数据的时候会出现超时的情况 方法二： 在能直接读取HDFS数据的主机上安装clickhouse-client，读取HDFS数据后直接插入ClickHouse。 #!/bin/
datax将hive中的hdfs数据导入到clickhouse测试调错全程
weixin_43465754的博客
04-26 4042
datax将hive中的数据导入到clickhouse
怎么从hive把数据推到clickhouse
04-02
方法一：使用Sqoop将数据从Hive导出到ClickHouse 1. 安装Sqoop和ClickHouse JDBC驱动程序。 2. 在Hive中创建表并加载数据。 3. 在ClickHouse中创建表。 4. 使用Sqoop将数据从Hive导出到ClickHouse。 以下是一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值