elasticsearch
Jaming R
这个作者很懒,什么都没留下…
展开
-
elasticsearch 内存溢出
ES在做聚合的时候,容易发生内存溢出https://www.elastic.co/guide/cn/elasticsearch/guide/current/_limiting_memory_usage.html原创 2017-12-22 15:19:39 · 7007 阅读 · 0 评论 -
elasticsearch 去重
ES字段折叠(collapse)可以去重,但是不hits里面的总数是不去重的,而聚合的cardinality方法去重,会有误差,默认30000之内的数据没有误差,参数precisionThresholdecisionThreshold最大可以调到40000.DSL语句GET /mtd_customers/mtd_customers_type/_search{ "query": { "boo...原创 2017-12-16 12:28:03 · 8578 阅读 · 0 评论 -
elasticsearch5安装
安装es:http://www.jianshu.com/p/a4d236ed17c3安装head:http://blog.csdn.net/u013066244/article/details/63279337最后将head/_site/app.js 中的localhost改成自己的ip就行了分片主分片副本分片索引(index)类型(type)id一旦文档被存储在Elasticsearch中,它就...原创 2017-07-20 14:21:52 · 279 阅读 · 0 评论 -
spark2.0 读取本地json数据到Elasticsearch时,过滤非法json
package esimport net.minidev.json.parser.JSONParserimport org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.{Dataset, SparkSession}import scala.collection.Map...原创 2019-03-18 14:59:26 · 580 阅读 · 0 评论