关于spark读取elasticsearch中数据,但是无法实现过滤数据的问题

最近出现了一个问题,就是spark读取elasticsearch中的数据的时候,明明elasticsearch中有数据,但是spark读取数据,然后进行过滤的时候会把相关的数据都给过滤掉了,

找来找去是因为写index的时候出现的问题

当我使用这种方式读取es中的数据的时候,会出现的问题是

sc.esRDD("logstash-2016.11.24").values

这样读取的数据我使用filter过滤的时候没有任何的效果,都会过滤掉,但是

sc.esRDD("logstash-2016.11.24/syslog").values

写上Type的时候,情况发生了改变,它过滤出来了我想要的数据,

这是为毛呢?因为我从开始用的时候就是以index来过滤的,没有写type,也可以,但是现在不行了


我又进行了测试,数据如下但是我按照原来的方式进行读取过滤的时候却可以正常进行过滤,这是为毛,不知道了


又要重新修改程序,麻烦啊

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值