spark读取elasticsearch中的多个index
有几个思路可供选择
1.直接用逗号隔开多个index,代码如下
val esLogs=sc.esRDD("logstash-2016.04.05,logstash-2016.04.06")
2.读取每一个,结果是RDD,然后将两个RDD进行合并,使用join是对两个RDD进行交集,union是取并集
val esLogs=sc.esRDD("logstash-2016.04.05")
val esLogs2=sc.esRDD("logstash-2016.04.06")
<pre code_snippet_id="1648372" snippet_file_name="blog_20160415_4_893201" name="code" class="html">var esSumlogs=esLogs.join(esLogs2)