创建hive连接es的表

-- 查看es版本
curl --user elastic:BAGNimgiGBIE5Isu -XGET 'http://es-cn-oew1zs37s000a3616.elasticsearch.aliyuncs.com:9200'

drop table ods.ods_jhff_contentpool_es;
add jar hdfs://emr-cluster/es/elasticsearch-hadoop-hive-7.7.1.jar;
CREATE EXTERNAL TABLE if not exists ods.ods_jhff_contentpool_es(
id  string  COMMENT '文章全局id',
pub_time bigint  COMMENT '发布时间时间戳',
create_time bigint  COMMENT '新闻创建时间',
audit_create_time bigint  COMMENT '审核系统入库时间',
audit_update_time bigint  COMMENT '审核系统修改时间',
source_id int  COMMENT '数据源id',
source_name string  COMMENT '数据源名称',
article_type string  COMMENT '文章类型',
status  int  COMMENT '状态,0正常,1删除/下架,默认是0',
title string  COMMENT '文章标题',
category_first string  COMMENT '一级分类id',
category_second string  COMMENT '二级分类id',
category_third string  COMMENT '三级分类id',
last_category int COMMENT '末级分类',
media_match boolean COMMENT '媒体匹配情况,true表示匹配成功,false表示不成功,默认为失败',
original_type string COMMENT '是否原创新闻,默认为NOT_ORIGINAL',
source_download boolean COMMENT '资源下载情况,true表示下载成功,false表示下载失败,默认为下载失败',
etl_process_result  string COMMENT 'etl处理结果,默认为处理结束',
can_delivery  boolean COMMENT '是否可分发,true为可分发,false为不可分发',
repeatable_delivery  boolean COMMENT '是否可重复分发,true表示可重复分发,false表示不可以,默认值为false',
is_dup  int  COMMENT '是否原创新闻,0原创,1转载'
)
STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler'
TBLPROPERTIES('es.resource' = 'middleground-feedmessage-pool/_doc',
'es.index.auto.create' = 'false', --不自动创建索引
'es.index.read.missing.as.empty'='true',--防止查询为空值报错
'es.mapping.names'='is_dup:isDup,repeatable_delivery:repeatableDelivery,can_delivery:canDelivery,etl_process_result:etlProcessResult,source_download:sourceDownload,original_type:originalType,
media_match:mediaMatch,last_category:lastCategory,category_third:categoryThird,category_second:categorySecond,category_first:categoryFirst,title:title,status:status,id:id,pub_time:pubTime,create_time:createTime,audit_create_time:auditCreateTime,audit_update_time:auditUpdateTime,source_id:sourceId,source_name:sourceName,article_type:articleType', --hive字段对应的ES字段,手动指定或自动映射
'es.nodes' = 'es-cn-oew1zs37s000a3616.elasticsearch.aliyuncs.com',
'es.port'='9200',
'es.net.http.auth.pass'='BAGNimgiGBIE5Isu', --ES密码
'es.net.http.auth.user'='elastic', --ES登录名
'es.nodes.wan.only'='true',
'es.nodes.discovery' = 'false',
'es.read.metadata'='true'
);

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值