DataX案例分享01(Hive -＞ ES)

最新推荐文章于 2024-05-16 19:06:18 发布
最新推荐文章于 2024-05-16 19:06:18 发布
阅读量1.7k 收藏 2
点赞数 2
分类专栏： 大数据之DataX 文章标签： hive elasticsearch hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/thankstonica/article/details/127037913
版权

1、背景

最近公司要搭建一个大数据ETL平台，过程涉及一些测试工作，在测试过程中，将一些可用性强的步骤给记录下来，方便后面开发作业的时候，拿来直接 copy
数据来源于HIve(一些加工好的指标)，需要存储至ES(用于接口查询)，如此离线数据ETL自然会想到阿里的DataX啦

2、环境介绍

  • 作业流程：从HIve中读取数据，直接写入至ES库表中
  • 本机环境：Linux(7.9)、DataX(3.0)、Hadoop(3.1.3)、Hive(3.1.2)、ES(7.8.0)
  • 集群节点：3台(node01、node02、node03)，ES安装在node03(单节点)

3、任务准备

3.1 查看官网支持数据源

可以看出，官网支持的数据源还是很多的，如图，但是ES貌似只支持写入操作
在这里插入图片描述

3.2 Hive读配置

官网地址：https://github.com/alibaba/DataX/blob/master/hdfsreader/doc/hdfsreader.md

{
    "job": {
        "setting": {
            "speed": {
                "channel": 3
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/user/hive/warehouse/mytable01/*",
                        "defaultFS": "hdfs://xxx:port",
                        "column": [
                               {
                                "index": 0,
                                "type": "long"
                               },
                               {
                                "index": 1,
                                "type": "boolean"
                               },
                               {
                                "type": "string",
                                "value": "hello"
                               },
                               {
                                "index": 2,
                                "type": "double"
                               }
                        ],
                        "fileType": "orc",
                        "encoding": "UTF-8",
                        "fieldDelimiter": ","
                    }

                },
                "writer": {
                    "name": "streamwriter",
                    "parameter": {
                        "print": true
                    }
                }
            }
        ]
    }
}
3.3 ES写配置

官网地址：https://github.com/alibaba/DataX/blob/master/elasticsearchwriter/doc/elasticsearchwriter.md

{
  "job": {
    "setting": {
        "speed": {
            "channel": 1
        }
    },
    "content": [
      {
        "reader": {
          ...
        },
        "writer": {
          "name": "elasticsearchwriter",
          "parameter": {
            "endpoint": "http://xxx:9999",
            "accessId": "xxxx",
            "accessKey": "xxxx",
            "index": "test-1",
            "type": "default",
            "cleanup": true,
            "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
            "discovery": false,
            "batchSize": 1000,
            "splitter": ",",
            "column": [
              {"name": "pk", "type": "id"},
              { "name": "col_ip","type": "ip" },
              { "name": "col_double","type": "double" },
              { "name": "col_long","type": "long" },
              { "name": "col_integer","type": "integer" },
              { "name": "col_keyword", "type": "keyword" },
              { "name": "col_text", "type": "text", "analyzer": "ik_max_word"},
              { "name": "col_geo_point", "type": "geo_point" },
              { "name": "col_date", "type": "date", "format": "yyyy-MM-dd HH:mm:ss"},
              { "name": "col_nested1", "type": "nested" },
              { "name": "col_nested2", "type": "nested" },
              { "name": "col_object1", "type": "object" },
              { "name": "col_object2", "type": "object" },
              { "name": "col_integer_array", "type":"integer", "array":true},
              { "name": "col_geo_shape", "type":"geo_shape", "tree": "quadtree", "precision": "10m"}
            ]
          }
        }
      }
    ]
  }
}
3.4 hive数据准备
-- 建表
create table dwd_mhs_opt_register_hive (
	global_id            string
	,patient_id           string
	,med_org_id           string
	,med_org_name         string
	,register_dept_id     string
	,register_dept_name   string
	,register_date        date
	,visit_id             string
	,register_id          string
	,register_time        timestamp
	,fee_register         decimal(18,2)
	,patient_name         string
	,id_card              string
	,id_card_type         string
	,gender               string
	,birthday             string
	,patient_phone        string
	,visit_card_no        string
	,visit_card_type      string
	,ds_date              date
);
-- 插入数据
insert into dwd_mhs_opt_register_hive values ('65a2344e241996aeb2b0f636d1cf2615','o_420000000002_611117','420000000002','绣林卫生院','102','门诊全科','2022-09-22','611117','611117','2022-09-22 09:28:32','4.5','张三丰','428001195208085237','01','1','1952-08-08','13522193151','A132193151','01','2022-09-22');
insert into dwd_mhs_opt_register_hive values ('aa0664fd7a8db6e3281666340223914d','o_420000003016_221375','420000003016','朱坡卫生院','102','门诊全科','2022-09-22','221375','221375','2022-09-22 09:38:32','4.5','宋远桥','428001198208105257','01','1','1982-08-10','13522293152','A135220152','01','2022-09-22');
insert into dwd_mhs_opt_register_hive values ('71590ce8bedd4a1bbb56fe1fcea0597f','o_420000000282_347902','420000000282','庞公卫生院','102','门诊全科','2022-09-22','347902','347902','2022-09-22 09:48:32','4.5','殷素素','428001198508185745','01','2','1985-08-18','13522393153','A135783153','01','2022-09-22');
-- 查询数据
select i.* from dwd_mhs_opt_register_hive i ;

在这里插入图片描述

4、任务测试

4.1 配置文件准备

在datax的conf目录下创建配置文件：
在这里插入图片描述
配置内容：

{
    "job": {
        "setting": {
            "speed": {
                "channel": 1
            }
        },
        "content": [
            {
                "reader": {
                    "name": "hdfsreader",
                    "parameter": {
                        "path": "/user/hive/warehouse/test.db/dwd_mhs_opt_register_hive",
                        "defaultFS": "hdfs://node01:8020",
                        "column": [
                            {
                                "index": 0,
                                "type": "string"
                            },
                            {
                                "index": 1,
                                "type": "string"
                            },
                            {
                                "index": 2,
                                "type": "string"
                            },
                            {
                                "index": 3,
                                "type": "string"
                            },
                            {
                                "index": 4,
                                "type": "string"
                            },
                            {
                                "index": 5,
                                "type": "string"
                            },
                            {
                                "index": 6,
                                "type": "date"
                            },
                            {
                                "index": 7,
                                "type": "string"
                            },
                            {
                                "index": 8,
                                "type": "string"
                            },
                            {
                                "index": 9,
                                "type": "date"
                            },
                            {
                                "index": 10,
                                "type": "double"
                            },
                            {
                                "index": 11,
                                "type": "string"
                            },
                            {
                                "index": 12,
                                "type": "string"
                            },
                            {
                                "index": 13,
                                "type": "string"
                            },
                            {
                                "index": 14,
                                "type": "string"
                            },
                            {
                                "index": 15,
                                "type": "string"
                            },
                            {
                                "index": 16,
                                "type": "string"
                            },
                            {
                                "index": 17,
                                "type": "string"
                            },
                            {
                                "index": 18,
                                "type": "string"
                            },
                            {
                                "index": 19,
                                "type": "date"
                            }
                        ],
                        "fileType": "text",
                        "encoding": "UTF-8",
                        "fieldDelimiter": "\u0001"
                    }
                },
                "writer": {
                    "name": "elasticsearchwriter",
                    "parameter": {
                        "endpoint": "http://node03:9200",
                        "accessId": "root",
                        "accessKey": "root",
                        "index": "register2",
                        "type": "default",
                        "cleanup": true,
                        "settings": {"index" :{"number_of_shards": 1, "number_of_replicas": 0}},
                        "discovery": false,
                        "batchSize": 1000,
                        "splitter": ",",
                        "column": [
                            {"name": "global_id", "type": "string" },
                            {"name": "patient_id", "type": "string" },
                            {"name": "med_org_id", "type": "string" },
                            {"name": "med_org_name", "type": "string" },
                            {"name": "register_dept_id", "type": "string" },
                            {"name": "register_dept_name", "type": "string" },
                            {"name": "register_date", "type": "date", "format": "yyyy-MM-dd" },
                            {"name": "visit_id", "type": "string" },
                            {"name": "register_id", "type": "string" },
                            {"name": "register_time", "type": "date" ,"format": "yyyy-MM-dd HH:mm:ss"},
                            {"name": "fee_register", "type": "double" },
                            {"name": "patient_name", "type": "string" },
                            {"name": "id_card", "type": "string" },
                            {"name": "id_card_type", "type": "string" },
                            {"name": "gender", "type": "string" },
                            {"name": "birthday", "type": "string" },
                            {"name": "patient_phone", "type": "string" },
                            {"name": "visit_card_no", "type": "string" },
                            {"name": "visit_card_type", "type": "string" },
                            {"name": "ds_date", "type": "date" ,"format": "yyyy-MM-dd"}
                      ]
                    }
                }
            }
        ]
    }
}
// 注意：我是临时搭了个单节点的ES，没有权限配置，默认给“”会报错，随便给个值即可
// "accessId": "root",
// "accessKey": "root",
4.2 启动任务
# 我是在 conf 目录，执行系列命令即可
../bin/datax.py datax_01_hive2es.json
# 出现下列字符串，则成功，本次成功写入 3 条记录
2022-09-26 14:47:13.030 [job-0] INFO  JobContainer - 
任务启动时刻                    : 2022-09-26 14:47:00
任务结束时刻                    : 2022-09-26 14:47:13
任务总计耗时                    :                 12s
任务平均流量                    :               52B/s
记录写入速度                    :              0rec/s
读出记录总数                    :                   3
读写失败总数                    :                   0

好像时间有点问题，应该是创建索引要指定mapping映射，后续测试一下
在这里插入图片描述

5、总结

  • DataX的确可以从Hive读数据并写入Hive中，但是时间格式有点问题，需要查看一下原因
  • 官方网站说Hive是根据index来对应ES字段的，使用字段名称是否可以呢，后续跟进一下
  • 当字段比较多的时候，要仔细了，很容易出错
  • 官网没说从ES读数据源，但是经过我后来测试，是可以的，下篇博客案例分享
大嘴蟹
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
DolphinScheduler使用Datax同步Hive结果到MYSQL
熊浪的博客
06-14 4146
1、安装DolphinScheduler 2、创建租户信息 注意：租户名称就是Linux的执行命令的用户名称，所以不能出错 3、根据实际情况确定是否需要创建工作组，存在一个default默认工作组，是当前的所有机器，可以通过组信息来确定定特定的机器执行某个任务，比如DataX插件执行同步任务，可以只在某个机器上安装DataX，之后通过组信息来确定某个安装了同步插件的机器执行同步任务，这样可以降低每台机子上安装的插件个数，但可能会存在，某个机子宕机，任务不能执行的风险 4、环境管理 默认使用 ./dolp
DataX实现Mysql与ElasticSearch（ES）数据同步
m0_68681879的博客
09-11 2075
jdk1.8及以上python2。
DataX实现ES与ES数据批量同步
最新发布
eagle89的专栏
05-16 485
DataX实现ES与ES数据批量同步
使用DataX和sqoop将数据从MySQL导入Hive
Davidchou3165的博客
10-23 3155
使用DataX和Sqoop两种方式进行数据同步，对比两种技术的优劣
dataX-mysql增量同步到es
码农的专栏
05-14 845
【代码】dataX-mysql增量同步到es。
【DataX 增量同步】Mysql 同步数据到 es（Elasticsearch）
Zsigner的博客
09-02 6032
简介：阿里云开源离线同步工具DataX3.0介绍 一. DataX3.0概览​ DataX 是一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 如果不熟悉的话可以先进行了解：https://developer.aliyun.com/article/59373 源码开源地址：https://github.com/alibaba/DataX?spm=a2c6h.128736..
datax-elasticsearch-master.zip
09-09
阿里巴巴Datax离线同步方案到ElasticSearch（官方由于不维护，所以没有读取/写入到ElasticSearch的方案），这里给出了读取/写入方案插件代码，直接编译出Jar包放到Datax中即可。
datax实战-mysql同步数据到hive
01-07
{ job: { setting: { speed: { channel: 1 }, errorLimit: { record: 0, percentage: 0.02 } }, content: [ { reader: {
datax-es:从mysql导入es 重写代码
05-16
DataX 是阿里巴巴集团内被广泛使用的离线数据同步工具/平台，实现包括 MySQL、Oracle、SqlServer、Postgre、HDFS、Hive、ADS、HBase、TableStore(OTS)、MaxCompute(ODPS)、DRDS 等各种异构数据源之间高效的数据同步...
datax-web-2.1.2.zip
08-14
《DataX Web 2.1.2：高效数据同步工具详解》 DataX Web 是阿里巴巴开源的一款基于 DataX 的数据同步平台，它为用户提供了友好的图形化界面，简化了数据迁移过程，使得非开发人员也能轻松进行数据同步任务。在本次...
datax-web-ui:DataX Web UI
03-20
Datax Web UI说明该项目由修改而来构建设置运行npm install [ 慢的话用 npm install --registry https://registry.npm.taobao.org]修改配置找到vue.config.js修改proxy里的属性即可[process.env.VUE_APP_API]: { ...
大数据DataX（五）：Hive导入到MySQL
Lansonli（蓝深李）的博客
02-20 1128
目前HdfsReader支持的文件格式有textfile（text）、orcfile（orc）、rcfile（rc）、sequence file（seq）和普通逻辑二维表（csv）类型格式的文件，且文件内容存放的必须是一张逻辑意义上的二维表。在底层实现上，HdfsReader获取分布式文件系统上文件的数据，并转换为DataX传输协议传递给Writer。将Hive数据导入到MySQL需要使用到“hdfsreader”和“MySQLWriter”插件，下面介绍以上两种插件。
DataX案例实操
prefect_start的博客
02-04 1821
DataX案例实操，DataX案例实操，DataX案例实操
如何使用 datax 将 mysql 中的数据拉取到 hive ？
qq_43368947的博客
07-09 1699
需求 使用datax将mysql中的数据拉取到hive的ods层 步骤 首先在mysql中确定好需要拉取的表user_extend， 然后对应在hive中创建好空表，等待拉取 这里对应创建的hive表格如下 CREATE TABLE snbap_ods.ods_user_extend ( user_id bigint , user_gender bigint , is_pregnant_woman tinyint , is_have_children tinyint , is
datax导入到hive的数据量翻倍
cclovezbf的博客
03-02 1030
append，写入前不做任何处理，data-ingestion hdfswriter直接使用filename写入，并保证文件名不冲突。按道理来说第二次应该把第一次的数据文件删除，可是别人也没跑完，而且还不在同一个目录。因为hive的数据底层就是文件，有文件就有数据，这中间并没有像mysql这种插入一条数据这种事务关系。就是在这里rename之前 判断目录下是否有文件，有文件就删除！2.在我rename之前我发现突然又有文件了，那我就把自己删了。1.删文件，结果前面的都删完了，那我就不删了呗。
datax同步es数据
qq_39887331的博客
05-22 6823
xshell登录到服务器 进入到/home/datax目录底下 cd /home/datax 使用ps -auxww 查看下有多少datax进程 java -server -Xmx1g -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=./log -Dfile.encoding=UTF-8 -Dlogback.statusListenerCl...
Datax同步MySQL到ES
m0_49889089的博客
06-02 1631
Datax同步MySQL到ES
阿里云大数据平台DataWorks(原DataX)
hsabrina的博客
05-18 3215
数据集成 离线/实时数据同步 复杂网络环境下，对丰富异构类型数据源高效稳定的移动和同步能力 数据开发 对MaxCompute中的数据进行加工 (SQL，UTF，Graph，MR)、分析与发掘（数据分析、数据挖掘）等处理从而发现其价值 数据应用 对MaxCompute数据加工处理后，应用各种场景，如数据提取、数据交互、数据报表、数据分析 数据服务 提供为企业搭建统一的数据服务总线，帮助企业统一管理对内外的API服务。提供快速将数据库表生成API能力，同时支持快速注册现有API至数据服务平台，进
datax-admin和datax-exe的区别，请详细说明
06-01
DataX是一个开源的数据同步工具，它可以实现不同数据源之间的数据同步，包括关系型数据库、HDFS、Hive、ODPS等。而DataX分为两个部分，分别是datax-admin和datax-exe。 datax-admin是DataX的Web管理平台，它提供了...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值