Hive on ES

　　ES对于类似数据库的SQL查询很无力，可以使用Hive on ES来实现SQL的查询。2个百万级的索引做关联时，需要大概1分多钟，基于es2.1版本。

 

1.将elasticsearch-hadoop-2.1.1.jar拷贝到hive/lib目录下。

2.创建hive表

   create external table test(

        name string,

        address  ARRAY<STRING>,

       )

      stored by 'org.elasticsearch.hadoop.hive.EsStorageHandler'

       tblproperties(

          'es.cluster.name'  = 'es',

         'es.resource' = 'datatype/mytype',

         'es.node' = '27.10.1.2,27.10.1.3',

         'es.transport.port' = '9300',

        'es.field.names' = 'name ,address '

     );

    上面的例子中，es中的name字段为string，address为多值字段multi_field ，hive中的数据类型为ARRAY<STRING>。es和hive中数据类型对应关系为：

        int int,

        long bigint,

        float  float,

        double   double,

        string   string,

        multi_field  ARRAY<STRING>,

        birthdy   timestamp

3.查询

  select * from person p,contact c where p.telephonenum = c.phonenum;

 

     也可以通过Hive向es中导数据，或者直接读取hdfs数据以scroll bulk方式往es中导数据。

转载于:https://www.cnblogs.com/lnlvinso/p/7077471.html