如何使用 datax 拉取 hive 中的数据到 oracle 中?

需求

将 hive 中的数据拉取到 oracle 中,使用的工具是 datax

步骤

1.先在 hive 中找一张需要拉取的表,然后在 oracle 中创建对应的空表,等待拉取数据
2.在 datax 的 bin 目录下 编写 json 脚本 vi hiveoracle.json

{
   
    "job": {
   
	"setting": {
   
            "speed": {
   
                "byte": 1048576
            },
	    "errorLimit": {
   
                "record": 100,
                "percentage": 0.02
            }
        },
        "content": [
            {
   

		     "reader": {
   
                    "name": "hdfsreader",
                    "parameter": {
   
                    	"defaultFS": "hdfs://192.168.1.54:9000/",
			            "path"
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
DataX 是阿里巴巴集团开源的一款数据同步工具,它支持多种数据源之间的同步,包括 Hive、MySQL、Oracle 等常见关系型数据库以及 HDFS、FTP 等非关系型数据源。下面介绍如何使用 DataXHive 和 MySQL 的表互导。 首先需要在本地和远程服务器上安装好 DataX。然后创建一个名为 job.json 的配置文件,内容如下: ``` { "job": { "content": [ { "reader": { "name": "hdfswriter", "parameter": { "path": "/user/hive/warehouse/myhive.db/myhive_table", "defaultFS": "hdfs://localhost:9000", "fileType": "orc", "column": [ "col1", "col2", "col3" ] } }, "writer": { "name": "mysqlwriter", "parameter": { "url": "jdbc:mysql://localhost:3306/test", "username": "root", "password": "123456", "table": "mysql_table", "column": [ "col1", "col2", "col3" ] } } } ], "setting": { "speed": { "channel": "3" } } } } ``` 该配置文件定义了一个数据同步任务,将 Hive 的 myhive_table 表导入到 MySQL 的 mysql_table 表。其,hdfswriter 和 mysqlwriter 分别表示数据源和目标源的类型,parameter 参数定义了数据源和目标源的详细信息。column 参数定义了需要同步的列。 执行以下命令启动 DataX 任务: ``` python datax.py job.json ``` 该命令会按照配置文件的定义开始数据同步任务。在数据量较大的情况下,可以通过修改 job.json 的 speed 参数来调整数据同步的速度,以避免对源和目标服务器的负载过大。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值