从ES往hive中导入数据其实有很多方式,最基本的方法就是用es-java-api获取数据然后导入到hdfs中,就完了。但这种方式太过复杂,且通用性不高。
下面介绍一种方便的导入方式:
需要用到ES-hadoop插件:
第一次需要安装插件:
下载地址:https://github.com/elasticsearch/elasticsearch-hadoop#readme
add上面的jar包到hive
hive –e “add jarelasticsearch-hadoop-2.1.1.jar;”
(其实前面有写从hive索引数据入ES,其实方式是一样。)
假如在ES中有如下索引,mapping如下:
"mappings": { "keyword": { "properties": { "cnt": { "type": "double" }, "key": { "type": "string" } } } } |
则在hive中建立一个映射外表:
CREATE EXTERNAL TABLE default.test001 ( cnt DOUBLE, key STRING ) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'wordcloud_keyword_ots/keyword','es.nodes'='10.130.2.46','es.port'='9200','es.field.read.empty.as.null'='false'); |
执行语句
Select cnt,key from default.test001 limit 10 |
注意事项:
1.es中的字段名称都要是小写,因为在建立hive映射表时,输入的大写字段名会转化成小写;导致字段会以小写的方式去es查找字段名;
2.不要直接使用这个映射外表,应定时从此表中把数据导入正式hive外表;
3.此映射外表没有建分区,当然也用不着,只需对表进行条件判断即可导出你想要的数据,这样更加方便;