最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,
找来找去是因为写index的时候出现的问题
当我使用这种方式读取es中的数据的时候,会出现的问题是
sc.esRDD("logstash-2016.11.24").values
这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是
sc.esRDD("logstash-2016.11.24/syslog").values
写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,
这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了
我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了
又要重新修改程序,麻烦啊