Spark写ES的遇到的坑

由于项目需要,最近搞Spark Streaming做数据分析,并最终将分析完的数据写入ElasticSearch。我们项目使用的是Spark 2.1.0,而我们公司的ElasticSearch版本使用的是2.1.2。项目过程中遇到了很多坑,浪费了不少时间,故此在这里总结一下,希望大家以后免于趟这些坑以节约时间做一些更有意义的事。由于Maven依赖很长,故此放在最后,请参看: 添加Maven依赖1....
阅读(2730) 评论(5)

ElasticSearch性能优化

1. 亿级规模的ES查询优化实战 能用filter就不用query filter拿到相应的doc后不计算score不用排序 query会对符合条件的doc计算score并进行排序 filter的查询速度比query快很多 2. 增加相关cache的配置 indices.cache.filter.size: 30% indices.fielddata.cache.size: 60% inde...
阅读(1569) 评论(9)

ElasticSearch Java API(二)增删改查

现在我们来详细的阐述API的CRUD命令(Create,Retrieve,Update,Delete document)。1. 读取文档 GetResponse response = client.prepareGet("indexName","type","id") .setFields("title","_source") .exe...
阅读(976) 评论(7)

ElasticSearch Java API(一)连接集群

使用 Java API 连接到ElasticSearch集群的方法有两种。这两种方式都会使用一个Client ( org.elasticsearch.client.Client ) 接口的恰当实例。Client接口是ElasticSearch API对外提供的各功能的主入口。1. 成为ElasticSearch节点      第一种连接ElasticSearch节点的方式可能会让那些没有接触过Ela...
阅读(2391) 评论(7)
    我的公众号

    关注微信公众号,专

    为机器学习入门者
    个人资料
    • 访问:145012次
    • 积分:3307
    • 等级:
    • 排名:第10702名
    • 原创:83篇
    • 转载:6篇
    • 译文:4篇
    • 评论:761条
    博客专栏
    最新评论