留顺意-CSDN博客

原创 ES keyword类型写入时字段超长问题及ignore_above的作用

本文主要围绕以下两个问题展开：1、通常情况下keyword类型写入时字段超长问题2、设置了ignore_above参数后还存在字段超长问题 whose UTF8 encoding is longer than the max length 32766

2022-08-31 11:01:00 1902 1

原创 logstash 内网IP字段信息丰富

对内网IP进行字段信息丰富，字段扩展由于Geoip插件依赖的数据源文件GeoLite2-City.mmdb只包含了外网IP城市信息，因此只能够对外网IP进行字段信息丰富，主要原因在于Geoip插件依赖的数据源GeoLite2-City。而GeoLite2-City.mmdb是一种二进制文件logstash提供了多种filter plugin，其中有些插件可以用来进行字段丰富，在这些插件中Jdbc_static filter 和 Translate filter plugin...

2022-07-11 17:42:13 888

原创数据可视化仪表板，vue-grid-layout + echarts

本文将讲叙如何利用vue-grid-layout和echarts制作数据可视化仪表板。工具vue-grid-layout：基于vue的栅格拖动布局组件。echarts：一款用于图表可视化的插件，可以用来制作各种图表。JavaScript：一个页面多个echarts图...

2022-06-24 10:16:43 2194 4

原创向数据库批量写入数据，如何解决数据重复的问题

背景目前需要将大量数据（存在少量的重复数据）初始化写入数据库表（该表开始无数据），在避免重复数据写入如何保证写入速率？网络上已有方案网络上已有的方案大概分为两类：通过SQL实现1.先写入，后去重。2.insert ignore。insert ignore语法会忽略执行出错的行，因此写入数据以第一条为准。3.replace into和insert … on duplicate key update。这两种语句都是通过替换原有的重复数据来避免重复数据写入的问题。通过代码逻辑控制1.通过try…

2022-01-28 17:24:26 4274

原创 ES模糊查询wildcard的替代方案，nGram + match_phrase

ES模糊查询wildcard的替代方案，nGram + match_phrase背景1.ES模糊查询wildcard查询极耗机器CPU资源，查询耗时高，当并发量高时影响ES其它进程。2.用户实际的模糊查询需求大多是左右模糊匹配。可行性分析match_phrase能够实现词组查询。比如brown fox会返回匹配…brown fox…的结果，此结果与wildcard查询传入brown fox的查询结果一致。相当于我们可以通过match_phrase实现一些特许的模糊查询需求。那如何对match_

2022-01-25 17:16:07 8104

原创 Hive select count(*)计数语句报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exe

@Hive select count(*)计数语句报错 FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask环境及报错现象使用的hadoop是高可用集群。自己写的MapReduce程序可以成功，但在Hive上执行select count(*)报错解决办法原因：HA机制下yarn-site.xml配置不完整。解决办法：在yarn-site.xml中添加如下配置，重启hado

2021-08-15 12:17:09 3062 1

原创 kibana timelion 值一直为0的问题

问题原因：timelion默认使用@timestamp字段作为X轴，而使用的数据中没有该字段。解决办法：自定义X轴，指定timefield。例如：.es(index='index_weather*', timefield='@timestamp')。现象：1：未指定timefield时2：指定timefield后。另外要注意时间范围要选择正确，如果选择的时间段内美数据，也式查不到数据的。...

2021-07-31 20:45:17 184

原创 elasticsearch 出现master not discovered yet, this node has not previously joined a bootstrapped (v7+)

elasticsearch 出现master not discovered yet, this node has not previously joined a bootstrapped (v7+) cluster问题可能的原因。在配置elasticsearch集群时，一直只有一个master节点，启动子节点时过几秒刷一次[node-2] master not discovered yet, this node has not previously joined a bootstrapped (v7+)

2020-05-30 18:25:33 59172 6

weixin_43828710的博客