ELK
lishengping_max
专注大数据领域
展开
-
grokdebug使用
第一栏填要匹配的字符串第二栏使用自带模版 %{JAVACLASS:my} 或者个人模版 %{TEST:my} 或者自定义别名 (?\w+)第三栏 个人模版,一行一个表达式,如:TEST [0-9]+ TEST2 [A-Z]+示图原创 2017-04-06 01:11:24 · 954 阅读 · 0 评论 -
ES错误记录
一、Too many open files 1.修改linux应用可打开文件句柄数,默认是4096 /etc/security/limits.conf 增加2行 soft nofile 100001 hard nofile 100002 2.如果步骤1没解决,可能是ssh限制,修改/etc/ssh/sshd_config允许ssh登录加载ulimit的限制原创 2017-04-27 17:54:33 · 708 阅读 · 0 评论 -
Elasticsearch JAVA API开发记录
一、TransportClient只需初始化一次,通过单例TransportClient调用prepareSearch构造查询对象二、聚合查询agg只能通过query过滤,使用filter无效原创 2017-09-18 14:26:42 · 425 阅读 · 0 评论 -
Elasticsearch JAVA API和JAVA REST Clien比较
官方已经建议用REST,而 TransportClient 在7.0 开始废弃,在8.0版本移除. 详情请见:https://www.elastic.co/guide/en/elasticsearch/client/java-api/current/client.html以下为使用2.3.X的个人经验JAVA API 使用的netty协议TransportClient 端口9300 性能好原创 2017-04-06 01:22:49 · 10960 阅读 · 6 评论 -
ES的默认排序和慎用_doc排序
1.ES的默认排序ES默认的排序,是按 _score的desc。如果score分数一样排序就会乱。所以需要给不打分的数据排序可以用** _uid或者自定义的字段排序**2.为什么慎用_doc排序_doc 其实就是按照Lucene 文件结构的当时索引时的先后顺序,那么按道理它就是最快的,可是,别忘了,ES是分布式的,也就是说,这里有很多个Lucene,这个_doc 在一个shard 里它是唯一...原创 2019-06-10 17:28:04 · 4083 阅读 · 1 评论 -
深究|Elasticsearch单字段支持的最大字符数?
转自:https://blog.csdn.net/laoyang360/article/details/78207980在业务系统中,遇到过两个问题:问题1:设置为keyword类型的字段,插入很长的大段内容后,报字符超出异常,无法插入。问题2:检索超过ignore_above设定长度的字段后,无法返回结果。思考:Elasticsearch单字段支持的最大字符数?设置ignore_abo...转载 2019-09-04 14:59:50 · 422 阅读 · 0 评论