Translog 迁移 Hive执行流程

Translog 迁移 Hive执行流程

使用jar包跑批查询ES数据并写入本地的文件中 文件名格式为 content_2022-07-14-13.txt （年-月-日-小时）
将对应的文件 通过FI运维(hue)界面存入HDFS文件系统中（用于后续导入数据）
路径为 /user/hd_rbsmonitor_p/logfile/202204/1… (可自定义,只是用来数据中转)
登录linux服务器
3.1 连接 hive终端 source hive.txt
3.2 使用对应数据库 USE rbsmonitor;
3.3 建表

表操作相关流程如下：

一、【创建外表】

CREATE EXTERNAL TABLE IF NOT EXISTS translog_external
(
actionName STRING
, appName STRING
, code STRING
, faceType STRING
, hostName STRING
, logDate BIGINT
, logTime STRING
, logType STRING
, parentId STRING
, acmMenu STRING
, reqState STRING
, processTime DOUBLE
, req STRING
, requestID STRING
, ret STRING
, sourceIp STRING
, acmMenu STRING
, reqState STRING
, spanId STRING
, traceID STRING
)
partitioned by(month STRING,days String)
ROW FORMAT SERDE ‘org.apache.hadoop.hive.contrib.serde2.MultiDelimitSerDe’ with SERDEPROPERTIES(“field.delim” = “|\u001c”)
STORED AS TEXTFILE

二、【创建内表建表】

（内表使用ORC+外表导入的方式，不能用指定分隔符 否则会导入报错）
CREATE TABLE IF NOT EXISTS translog·
(
actionName STRING
, appName STRING
, code STRING
, faceType STRING
, hostName STRING
, logDate BIGINT
, logTime STRING
, logType STRING
, parentId STRING
, acmMenu STRING
, reqState STRING
, processTime DOUBLE
, req STRING
, requestID STRING
, ret STRING
, sourceIp STRING
, acmMenu STRING
, reqState STRING
, spanId STRING
, traceID STRING
)
partitioned by(month STRING,days STRING)
STORED AS ORC ;

三、【从HDFS中将数据导入外表】

alter table thranslog_external add partition(month=‘’,days=‘’)
再将相应的日志文件放入 分区文件夹中（默认路径是 /user/hive/warehourse/rbsmonitor.db/[tableName]/[分区文件夹]） 数据会自动加载到外表.
hdfs dfs -mv /user/hd_rbsmmonitor_p/logfile/202204/1/* user/hive/warehouse/rbsmonitor.db/translog_external/month=202204/days=01

注意数据加载外表之后 使用命令
source hive-soure.txt;
use rbsmonitor;
select count(*) from treanslog_external where month=202204 and days=01;
查看条数和 ES里边对应时间段的数据条数是否一致。

四、【将外表数据导入内表】

INSERT OVERWRITE TABLE translog PARTITION (month=‘202204’,days=‘01’)
SELECT
DISTINCT
actionName
, appName
, code
, faceType
, hostName
, logDate
, logTime
, logType
, parentId
, acmMenu
, reqState
, processTime
, req
, requestID
, ret
, sourceIp
, acmMenu
, reqState
, spanId
, traceID
FROM translog_external
where month = ‘202204’ and days = ‘01’;