Hive表导入Elasticsearch

最新推荐文章于 2024-08-08 13:06:49 发布

qianshanding0708

最新推荐文章于 2024-08-08 13:06:49 发布

阅读量9.2k

点赞数

分类专栏： Elasticsearch Hadoop Hive

本文链接：https://blog.csdn.net/qianshangding0708/article/details/50388750

版权

本文介绍了如何将Hive数据导入到Elasticsearch。首先，需要将elasticsearch-hadoop-hive-2.1.2.jar添加到Hive的类路径中，然后在Hive中创建Elasticsearch外表，通过设置es.index.auto.create和es.nodes属性。接着创建Hive表并上传数据文件，最后使用SQL语句将Hive表的数据插入到Elasticsearch。

摘要由CSDN通过智能技术生成

1，添加elasticsearch-hadoop-hive-2.1.2.jar到Hive。Hive添加第三方包，查看：http://blog.csdn.net/qianshangding0708/article/details/50381966

2，在hive中建立Elasticsearch外表：

@Test
public void testESTable() {
        try {
		HiveHelper
		.excuteNonQuery("CREATE EXTERNAL TABLE es_user(id String ,name String ,age int ,create_date String) STORED BY 'org.elasticsearch.hadoop.hive.EsStorageHandler' TBLPROPERTIES('es.resource' = 'es_hive/user_{create_date}','es.index.auto.create' = 'true','es.nodes' = '10.0.1.75:9200,10.0.1.76:9200,10.0.1.77:9200')");
	} catch (Exception e) {
 	        e.printStackTrace();
	}
}

为了让SQL语句看的清晰点，再