![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
elk
文章平均质量分 54
飞鸟还巢
。
展开
-
RestHighLevelClient操作ES7.2出现searchSourceBuilder.sort报错Can not set Date field to null value
在Java的SpringBoot工程中,使用RestHighLevelClient进行查询操作时候,出现了上图的报错。原创 2023-11-14 16:29:51 · 422 阅读 · 0 评论 -
采用 Logstash 采集 tomcat access 日志和应用程序日志
Logstash 的安装Logstash 的安装非常简单,直接官网下载对应的版本(需要和 Elasticsearch 的版本匹配)解压缩即可# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/# mv logstash-2.3.2/ logstash测试启动# cd logstash/# cd bin/# ./logstash...原创 2021-07-21 10:03:28 · 221 阅读 · 0 评论 -
从Flink往ElasticSearch进行Sink操作,报错circuit_breaking_exception
先贴报错:2022-05-10 14:44:43org.apache.flink.runtime.JobException: Recovery is suppressed by FixedDelayRestartBackoffTimeStrategy(maxNumberRestartAttempts=20, backoffTimeMS=10000) at org.apache.flink.runtime.executiongraph.failover.flip1.ExecutionFailureH原创 2022-05-11 10:44:42 · 1249 阅读 · 0 评论 -
日志中心现有架构下的优化方案记录
同时,由于软件和系统机制的制约,一套flink集群并不能真正分配到足量的cpu和内存资源,多一套集群也可以进一步使用剩余系统资源。生产环境已经采用,对照组是测试环境的独立集群,负载能力和容错能力远远超过测试环境的集群,且可能动态调整性能使用,例如slot的使用量;中间件flink、redis、kafka和mysql均在同一套三台主机上,CPU总数100C,256G内存,2T的磁盘。日志格式配置中,包含过滤方法,要业务侧给出过滤规则,屏蔽一些不需要的日志,减少日志的同时,提升日志可用性和命中率。原创 2022-09-21 13:35:17 · 894 阅读 · 1 评论 -
OpenSearch报错汇总
模板语句中的settings.index.lifecycle.name是当前os不支持的属性。删除掉settings.index.lifecycle.name结构体。原创 2023-02-08 15:50:44 · 1096 阅读 · 0 评论 -
Flink运行问题记录,无法入ES,Sink报错
2021-07-21 09:48:17java.lang.OutOfMemoryError: Direct buffer memory. The direct out-of-memory error has occurred. This can mean two things: either job(s) require(s) a larger size of JVM direct memory or there is a direct memory leak. The direct memory ca原创 2021-07-21 10:02:48 · 1637 阅读 · 2 评论 -
ES-7.2.0单节点配置样例
elasticsearch.yml :cluster.name: localnode.name: node-1path.data: G:\Elastic\elasticsearch-7.2.0\datapath.logs: G:\Elastic\elasticsearch-7.2.0\logsnetwork.host: 0.0.0.0http.port: 9200#transport.tcp.port: 9300discovery.seed_hosts: ["127.0.0原创 2022-05-24 12:02:06 · 696 阅读 · 0 评论 -
最简单的ElasticSearch在kibana上的搜索实例
POST logfmt_019*/_search{ "query": { "match_all": {} }}原创 2022-04-07 23:31:28 · 1576 阅读 · 0 评论 -
npm-pack-all: command not found
参考:https://www.waimaiguai.com/technology/article/463543https://blog.csdn.net/somken/article/details/125215915npm pack 全方位解读 - 掘金原创 2023-01-30 13:53:29 · 370 阅读 · 0 评论 -
结合判断索引存在的方法,获取时间段内所有的年月日时后缀
import org.apache.commons.lang3.StringUtils;import org.apache.http.HttpHost;import org.elasticsearch.client.RequestOptions;import org.elasticsearch.client.RestClient;import org.elasticsearch.client.RestHighLevelClient;import org.elasticsearch.client..原创 2020-08-29 12:32:40 · 168 阅读 · 0 评论 -
使用Logstash导出ES中的数据(作者:zhouxy)
一、部署Logstash1、下载安装包下载地址:https://www.elastic.co/cn/downloads/past-releases#logstash下载版本要与Elasticsearch版本一致,我这里下载的是7.2.0版本的,下载tar.gz包,可见附件。下载后传至主机上,并解压即完成安装。tar -xzvflogstash-7.2.0.tar.gz如何检查安装是否正确?cd logstash-7.2.0bin/logstash -e 'input ..转载 2021-01-12 10:16:58 · 4221 阅读 · 4 评论 -
启动opensearch的报错记录
【问题1】xpack.ml.enabled报错。【问题2】启动失败,jdk报错。原创 2023-02-02 10:05:35 · 613 阅读 · 0 评论 -
it is forbidden to set both [discovery.seed_hosts] and [discovery.zen.ping.unicast.hosts]
这段英文已经很明显了,“discovery.seed_hosts”和“discovery.zen.ping.unicast.hosts”不能同时出现,只能二选一。原创 2023-01-31 18:01:53 · 740 阅读 · 0 评论 -
查询ElasticSearch,发现Fielddata is disabled on text fields by default的报错
2020-12-23 16:32:27.451 [I/O dispatcher 2] DEBUG [org.apache.http.wire] - http-outgoing-1 << "{"error":{"root_cause":[{"type":"illegal_argument_exception","reason":"Fielddata is disabled on text fields by default. Set fielddata=true on [begin_cll_s..原创 2020-12-23 17:42:25 · 506 阅读 · 0 评论 -
利用Kibana修改ElasticSearch某个索引的mapping
因为ES不允许直接修改索引结构,所以,必须先新建正确结构的索引,再把老数据转到新索引,然后删除旧索引,再把新索引改名。1、创建新索引:PUT logana_e2e_2020121716{ "settings": { "index": { "number_of_shards": 3, "number_of_replicas": 0 } }, "mappings": { "properties": { "@timestamp原创 2020-12-21 15:25:47 · 1998 阅读 · 0 评论 -
Windows下安装Elasticsearch记录
1、下载NodeJS安装包,下载msi版本或者zip版本都行;Download | Node.jsNode.js® is a JavaScript runtime built on Chrome's V8 JavaScript engine.https://nodejs.org/en/download/在系统变量里进行配置,加一个NodeJS_HOME,指向nodejs的根目录。2、下载Elasticsearch安装包,需要windows版的;Download Elasticsearc.原创 2022-05-07 09:42:09 · 693 阅读 · 0 评论 -
批量插入数据到elasticsearch,包含重试,且处理异常不让flink异常宕停代码记录
/** * 批量插入数据到elasticsearch * @param bulkRequest * @param indexName * @param retries 失败时重试次数 * @return */ private boolean batchInsert(BulkRequest bulkRequest,String indexName,int retries){ long startTime = Sys...原创 2020-10-14 17:51:01 · 873 阅读 · 0 评论 -
使用sql插件控制es
POST _sql{ "query": """ select * from apm_mi_data_stutter_202007 where appPlatformName = '北京联通-沃易售IOS-测试' """}原创 2020-07-28 15:38:38 · 2725 阅读 · 1 评论 -
RestHighLevelClient 分页from异常
org.elasticsearch.action.ActionRequestValidationException: Validation Failed: 1: using [from] is not allowed in a scroll context;原创 2020-09-02 18:07:29 · 1592 阅读 · 2 评论 -
采用 Logstash 采集 tomcat access 日志和应用程序日志
Logstash 的安装Logstash 的安装非常简单,直接官网下载对应的版本(需要和 Elasticsearch 的版本匹配)解压缩即可# tar -zxvf logstash-2.3.2.tar.gz -C /usr/local/# mv logstash-2.3.2/ logstash测试启动# cd logstash/# cd bin/# ./logstash...转载 2019-05-08 10:29:29 · 960 阅读 · 0 评论