日志中心迁移elasticsearch实现

最新推荐文章于 2024-04-21 20:26:29 发布
最新推荐文章于 2024-04-21 20:26:29 发布
阅读量150 收藏
点赞数
分类专栏： elasticsearch 文章标签： java elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_50481928/article/details/109487667
版权
本文档详细介绍了如何将日志中心迁移至Elasticsearch，包括引入相关依赖，配置ElasticsearchCmbsConfig，设置ElasticsearchMonitorProperties，调整application.yml，以及在后端使用RestHighLevelClient进行异步索引和批量操作。
摘要由CSDN通过智能技术生成

日志中心迁移elasticsearch
https://www.elastic.co/guide/cn/elasticsearch/guide/current/_indexing_employee_documents.html

1.引入依赖
pom.xml

    <dependency>
       <groupId>org.elasticsearch</groupId>
       <artifactId>elasticsearch</artifactId>
       <version>6.6.0</version>
    </dependency>
    <dependency>
        <groupId>org.elasticsearch.client</groupId>
        <artifactId>elasticsearch-rest-high-level-client</artifactId>
        <version>6.6.0</version>
    </dependency>

2、ElasticsearchCmbsConfig装配RestHighLevelClient

import org.apache.http.HttpHost;
import org.elasticsearch.client.RestClient;
import org.elasticsearch.client.RestClientBuilder;
import org.elasticsearch.client.RestHighLevelClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * 类作用: Elasticsearch配置类
 * 类名称: ElasticsearchMonitorConfig
 * 类描述: Elasticsearch配置类
 */
@Configuration
public class ElasticsearchMonitorConfig {
    @Autowired
    private ElasticsearchMonitorProperties esProperties;

    @Bean
    public RestHighLevelClient restHighLevelClient() {
        String[] urlArr = esProperties.getEsAddress().split(",");
        HttpHost[] httpPostArr = new HttpHost[urlArr.length];
        for (int i = 0; i < urlArr.length; i++) {
            HttpHost httpHost = new HttpHost(urlArr[i].split(":")[0].trim(),
                    Integer.parseInt(urlArr[i].split(":")[1].trim()), "http");
            httpPostArr[i] = httpHost;
        }
        RestClientBuilder builder = RestClient.builder(httpPostArr);

        // 异步httpclient连接延时配置
        builder.setRequestConfigCallback(requestConfigBuilder -> {
            requestConfigBuilder.setConnectTimeout(esProperties.getConnectTimeOut());
            requestConfigBuilder.setSocketTimeout(esProperties.getSocketTimeOut());
            requestConfigBuilder.setConnectionRequestTimeout(esProperties.getConnectionRequestTimeOut());
            return requestConfigBuilder;
        });

        // 异步httpclient配置
        builder.setHttpClientConfigCallback(httpClientBuilder -> {
            // httpclient连接数配置
            httpClientBuilder.setMaxConnTotal(esProperties.getMaxConnectNum());
            httpClientBuilder.setMaxConnPerRoute(esProperties.getMaxConnectPerRoute());
            return httpClientBuilder;
        });
        return new RestHighLevelClient(builder);
    }
}

3、ElasticsearchMonitorProperties

import lombok.Data;
import org.springframework.boot.context.properties.ConfigurationProperties;
import org.springframework.stereotype.Component;

@Component
@ConfigurationProperties(prefix = "elasticsearch")
@Data
public class ElasticsearchMonitorProperties {

    /**
     *  esAddress.
     */
    private String esAddress;

    /**
     * 连接超时时间
     */
    private int connectTimeOut;
    /**
     * 连接超时时间
     */
    private int socketTimeOut;
    /**
     * 获取连接的超时时间
     */
    private int connectionRequestTimeOut;
    /**
     * 最大连接数
     */
    private int maxConnectNum;
    /**
     * 最大路由连接数
     */
    private int maxConnectPerRoute;
}

4、application.yml

elasticsearch:
  esAddress: 127.0.0.1:9200
  connectTimeOut: 3000
  socketTimeOut: 30000
  connectionRequestTimeOut: 3000
  maxConnectNum: 30
  maxConnectPerRoute: 10

5、后端代码交互
restHighLevelClient.indexAsync
restHighLevelClient.bulkAsync

import lombok.extern.slf4j.Slf4j;
import org.apache.commons.collections.CollectionUtils;
import org.apache.commons.lang.exception.ExceptionUtils;
import org.elasticsearch.action.ActionListener;
import org.elasticsearch.action.bulk.BulkRequest;
import org.elasticsearch.action.bulk.BulkResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.RequestOptions;
import org.elasticsearch.client.RestHighLevelClient;
import org.elasticsearch.common.xcontent.XContentBuilder;
import org.elasticsearch.common.xcontent.XContentFactory;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Component;

import java.io.IOException;
import java.lang.reflect.Field;
import java.lang.reflect.Method;
import java.text.SimpleDateFormat;
import java.util.ArrayList;
import java.util.Date;
import java.util.List;

/**
 * 类作用: Elasticsearch客户端模板
 * 类名称: ElasticsearchTemplate
 * 类描述: Elasticsearch客户端模板
 */
@Slf4j
@Component
public class ElasticsearchTemplate {
    @Autowired
    RestHighLevelClient restHighLevelClient;

    public void createIndex(String indexName, Object data) {
        log.info("ElasticsearchTemplate | createIndex | indexName : {}", indexName);
        XContentBuilder sourceBuilder = null;
        try {
            // 7X之后版本可以不需要"_doc"
            IndexRequest indexRequest = new IndexRequest(indexName,"_doc");
            // 构造入参执行请求
            sourceBuilder = constructIndexRequest(indexName, data, indexRequest);
            ActionListener<IndexResponse> listener = new ActionListener<IndexResponse>() {
                @Override
                public void onResponse(IndexResponse indexResponse) {

                }

                @Override
                public void onFailure(Exception e) {
                    log.error("ElasticsearchTemplate.createIndex.onFailure error : {}",
                            ExceptionUtils.getFullStackTrace(e));                    
                }
            };
            restHighLevelClient.indexAsync(indexRequest, RequestOptions.DEFAULT, listener);
        } catch (Exception e) {
            log.error("ElasticsearchTemplate.createIndex data : {}, error : {}",
                    data.toString(), ExceptionUtils.getFullStackTrace(e));
        } finally {
            closeSourceBuilder(sourceBuilder);
        }
    }

    public void bulkPutIndex(String indexName, List<BossInsServiceLogDtl> bossLogDtlList) {
        log.info("ElasticsearchTemplate | bulkPutIndex | indexName : {}", indexName);
        List<XContentBuilder> builderList = null;
        try {
            // 7X版本之后不需要"_doc"
            BulkRequest request = new BulkRequest(indexName,"_doc");
            builderList = constructBulkRequest(bossLogDtlList, request, indexName);
            ActionListener<BulkResponse> listener = new ActionListener<BulkResponse>() {
                @Override
                public void onResponse(BulkResponse indexResponse) {

                }
                @Override
                public void onFailure(Exception e) {
                    log.error("ElasticsearchTemplate.bulkPutIndex onFailure, error : {}",
                            ExceptionUtils.getFullStackTrace(e));
                }
            };
            restHighLevelClient.bulkAsync(request, RequestOptions.DEFAULT, listener);
        } catch (Exception e) {
            log.error("ElasticsearchTemplate.bulkIndex data : {}, error : {}",
                    bossLogDtlList, ExceptionUtils.getFullStackTrace(e));
        } finally {
            closeBtachSourceBuilder(builderList);
        }
    }

    public XContentBuilder constructIndexRequest(String indexName, Object data, IndexRequest indexRequest)
            throws IOException {
        XContentBuilder sourceBuilder = XContentFactory.jsonBuilder().startObject();
        String[] fieldNames = getFiledName(data);
        for(int j=0 ; j<fieldNames.length ; j++){           
            sourceBuilder.field(EsLogFieldEnum.getEsFieldByFieldName(fieldNames[j]),
                    getFieldValueByName(fieldNames[j], data));
        }
        sourceBuilder.endObject();
        indexRequest.source(sourceBuilder);
        return sourceBuilder;
    }

    /**
     * 获取属性名数组
     * */
    private static String[] getFiledName(Object o){
        Field[] fields=o.getClass().getDeclaredFields();
        String[] fieldNames=new String[fields.length];
        for(int i=0;i<fields.length;i++){
            fieldNames[i]=fields[i].getName();
        }
        return fieldNames;
    }

    /* 根据属性名获取属性值
     * */
    private static Object getFieldValueByName(String fieldName, Object o) {
        try {
            String firstLetter = fieldName.substring(0, 1).toUpperCase();
            String getter = "get" + firstLetter + fieldName.substring(1);
            Method method = o.getClass().getMethod(getter, new Class[] {});
            Object value = method.invoke(o, new Object[] {});
            // 如果是时间，指定时间格式yyyy-MM-dd HH:mm:ss
            if (value instanceof Date && null != value) {
                value = formatDate((Date)value, "yyyy-MM-dd HH:mm:ss");
            }
            return value;
        } catch (Exception e) {
            return null;
        }
    }

    public static String formatDate(Date date, String pattern) {
        if (null == date) {
            return null;
        }
        // 建立日期FORMAT的实例
        SimpleDateFormat df = new SimpleDateFormat(pattern);
        return df.format(date);
    }
   
    public List<XContentBuilder> constructBulkRequest(
            List<BossInsServiceLogDtl> bossLogDtlList, BulkRequest request, String indexName) throws IOException {
        List<XContentBuilder> builderList = new ArrayList<XContentBuilder>();
        for (BossInsServiceLogDtl bossDtl : bossLogDtlList) {
            IndexRequest indexRequest = new IndexRequest(indexName,"_doc");
            // 构造入参执行请求
            XContentBuilder sourceBuilder = XContentFactory.jsonBuilder().startObject();
            String[] fieldNames = getFiledName(bossDtl);
            for(int j=0 ; j<fieldNames.length ; j++){
                if (!fieldNames[j].equals("id")) {
                    sourceBuilder.field(EsLogFieldEnum.getEsFieldByFieldName(fieldNames[j]),
                            getFieldValueByName(fieldNames[j], bossDtl));
                }
            }
            sourceBuilder.endObject();
            indexRequest.source(sourceBuilder);
            builderList.add(sourceBuilder);
            request.add(indexRequest);
        }
        return builderList;
    }

    public void closeBtachSourceBuilder(List<XContentBuilder> tempBuilderList) {
        if (CollectionUtils.isNotEmpty(tempBuilderList)) {
            try {
                for (XContentBuilder sourceBuilder : tempBuilderList) {
                    if (null != sourceBuilder) {
                        sourceBuilder.close();
                    }
                }
            } catch (Exception e) {
                log.error("ElasticsearchTemplate.closeBtachSourceBuilder:批量释放资源完毕.error : {}",
                        ExceptionUtils.getFullStackTrace(e));
            }
        }
    }

    public void closeSourceBuilder(XContentBuilder builder) {
        try {
            if (null != builder) {
                builder.close();
            }
        } catch (Exception e) {
            log.error("ElasticsearchTemplate.closeSourceBuilder:释放资源完毕.error : {}",
                    ExceptionUtils.getFullStackTrace(e));
        }
    }
}

6、EsLogFieldEnum

import java.util.HashMap;
import java.util.Map;

/**
 * 项目名称:
 * 类名称:  EsLogFieldEnum.java
 * 类描述: 	日志表字段枚举
 */
public enum EsLogFieldEnum {
	USER_ID("userId","user_id"),
	ORDER_ID("orderId","order_id"),
	USER_ACCOUNT("userAccount","user_account"),
	REQUEST_MSG("requestMsg","request_msg"),
	RESPONSE_MSG("responseMsg","response_msg"),
	SERVICE_NAME("serviceName","service_name"),
	START_TIME("startTime","start_time"),
	END_TIME("endTime","end_time"),
	COST_TIME("costTime","cost_time"),
	METHOD_NAME("methodName","method_name"),
	METHOD_STATE("methodState","method_state"),
	ERR_DETAILS("errDetails","err_details"),
	PRODUCT_LINE("productLine","product_line"),
	PORTAL_TYPE("portalType","portal_type"),
	PLATFORM("platform","platform"),
	GMT_CREATE("gmtCreate","gmt_create"),
	GMT_MODIFIED("gmtModified","gmt_modified"),
	COMPANY_ID("companyId","company_id"),
	REPROCESS_FLAG("reprocessFlag","reprocess_flag"),
	MSG_KEY("msgKey","msg_key"),
	MESSAGE("message","message"),
	ERROR_CODE("errorCode","error_code"),
	ERROR_DETAIL_MESSAGE("errorDetailMessage","error_detail_message"),
	MESSAGE_SOURCE("messageSource","message_source"),
	MESSAGE_TYPE("messageType","message_type"),
	MESSAGE_TYPE_NAME("messageTypeName","message_type_name"),
	IS_PROCESSED("isProcessed","is_processed"),
	IS_NEED_FOLLOWED("isNeedFollowed","is_need_followed"),
	TOPIC_PARTITION("topicPartition","topic_partition"),
	TOPIC_OFFSET("topicOffset","topic_offset"),
	REMARKS("remarks","remarks"),
	TOPIC("topic","topic"),
	MSISDN("msisdn","msisdn"),
	OPER_CODE("operCode","oper_code"),
	OPER_TIME("operTime","oper_time"),
	SP_CODE("spCode","sp_code"),
	SERVICE_CODE("serviceCode","service_code"),
	TRANSACTION_ID("transactionId","transaction_id"),
	EXTENSION_1("extension1","extension_1"),
	EXTENSION_2("extension2","extension_2"),
	EXTENSION_3("extension3","extension_3"),
	EXTENSION_4("extension4","extension_4"),
	EXTENSION_5("extension5","extension_5"),
	USER_KEY("userKey","user_key"),
	PROCESS_CODE("processCode","process_code");

	private EsLogFieldEnum(String fieldName, String esField) {
		this.fieldName = fieldName;
		this.esField = esField;
	}

	private String fieldName;

	private String esField;

	public String getFieldName() {
		return this.fieldName;
	}

	public String getEsField() {
		return this.esField;
	}

	// 在加载初始化Map
  	private static final Map<String, EsLogFieldEnum> LOOKUP = new HashMap<>();
  	static{
  		for(EsLogFieldEnum esLogFieldEnum : EsLogFieldEnum.values()){
  			LOOKUP.put(esLogFieldEnum.getFieldName(), esLogFieldEnum);
  		}
  	}

    //反向查找的方法，供外部调用
   	public static String getEsFieldByFieldName(String fieldName) {
   		return null == LOOKUP.get(fieldName)
   				? fieldName : LOOKUP.get(fieldName).getEsField();
   	}

}
oldDuckTang
关注
专栏目录
springboot 实现elasticsearch索引数据迁移
congge
01-08 7238
springboot实现es数据迁移
【Elasticsearch】es 各种 日志 慢日志 慢查询
九师兄
10-21 4757
文章目录1.概述1.1 Elasticsearch日志列表1.2 日志级别1.3 日志格式2.慢日志2.2 慢日志全局级别设定3.根治慢查询3.1 慢查询六大症状3.1.1 症状1：非活动（检索/写入）状态资源利用率也非常高3.1.2 症状2：线程池存在大量rejected3.1.3 症状3：高CPU和索引化延迟3.1.4 症状4：副本增加后延时增大3.1.5 症状5：共享硬件资源时的高资源利用率。3.1.6 症状6：聚合N多唯一值引起的高内存使用率M.扩展阅读 1.概述 日志存储路径： 运行日志：
ElasticSearch+Kibana+Serilog快速搭建统一的日志中心
Sysdark的博客
06-09 1169
系列文章目录 因目前项目上使用的基于ABP框架的微服务架构，另使用Docker Swarm搭建的整个服务集群，应用服务、集群节点、Docker容器等多个 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介..
elasticsearch（ES）日志迁移
baichuzu8989的博客
07-30 213
=============================================== 2018/7/29_第1次修改ccb_warlock =============================================== elasticsearch（ES）作为ELK的一部分，经常用于日志记录与统计...
logstash、elasticsearch、kibana搭建日志平台
xueyunzi1的博客
05-23 153
开发十年，就只剩下这套Java开发体系了 &gt;&gt;&gt;    ...
elasticsearch做为日志中心的配置及优化
哇哦~
11-10 1220
Hot-warm-cold architecture with Elasticsearchhttps://ptran32.github.io/2020-08-08-hot-warm-cold-elasticsearch/ Implementing Hot-Warm-Cold in Elasticsearch with Index Lifecycle Management | Elastic Bloghttps://www.elastic.co/blog/implementing-hot-warm-co
使用syslog-ng进行日志中心化(一)
hanyh
12-16 256
一个日志中心化设计收集项目，前端有230台的服务器，使用syslogd收集日志，保存在本地磁盘的同时另外发一份到syslog-ng的日志中心服务器上，中心服务器同时把日志分发到两个目的地：本地磁盘存储和一个FIFO。该FIFO作为Source发给PipeReader Class处理，该类对日志进行预处理，如从用户的IP地址查询出对应的城市等。然后发给LogCenter Daemon处理；该Daem...
elasticsearch数据迁移
weixin_43319551的博客
10-24 495
摘要：elasticsearch大量数据的迁移，目前使用elasticsearch自身的快照备份恢复是最快速的方式，官方文档备份需要使用共享的文件系统（shared file system repository），推荐使用OSS存储服务。 迁移中另一个问题就是要不要停服迁移，停服多久的问题。以作者目前所了解的，暂时没有不停服的迁移方案，这里推荐一个进行迁移时几乎不影响数据写入的方式。 以阿里云OSS存储服务为例，插件使用的elasticsearch-repository-oss，有两个集群，均为6.8.2
es迁移工具，实现es数据的两个集群之间或者导出到本地进行迁移.zip
01-03
**Elasticsearch (ES) 迁移工具详解** 在大数据时代，Elasticsearch作为一个流行的分布式搜索引擎和数据分析平台，被广泛应用于日志分析、监控、搜索和数据存储等场景。随着业务的发展，有时我们需要将ES的数据从一...
ElasticSearch数据迁移方法介绍_elasticsearch 数据迁移
最新发布
2401_84181434的博客
04-21 932
如果您在升级过程中同时停止一半或更多符合主节点条件的节点，则集群将不可用，这意味着升级不再是滚动升级。如果发生这种情况，您应该升级并重新启动所有已停止的符合主节点资格的节点，以允许集群再次形成，就像执行全集群重启升级一样。index.unassigned.node_left.delayed_timeout（默认为一分钟），然后才开始将该节点上的分片复制到集群中的其他节点，这可能涉及大量 I/O。​ 在滚动升级期间，分配给运行新版本的节点的主分片不能将其副本分配给使用旧版本的节点。
【微服务】mysql + elasticsearch数据双写设计与实现
congge
11-04 8734
mysql + elasticsearch数据双写设计与实现
Logger日志系统实现流程研究
程序码农的新路历程
01-25 739
综述：日志系统的实现流程 1、应用层应用程序：调用应用程序框架层的java接口，实际是java类的静态函数,android.util.Log(如Log.i());----------应用程序 2、应用框架层java接口：Log的静态方法如（v()、i()、e()）,调用本层对应的JNI方法：如：println_native   ------------java类Log jar包：system/
开源实时日志分析平台-ELK Elasticsearch部署
weixin_45579753的博客
10-22 292
2.1、 主机规划 主机名 IP 部署软件 备注 Cong11 192.168.1.11 ELK 7.3 ELK软件版本要一致 Cong12 192.168.1.12 httpd+ filebeat 使用filebeat收集日志 Cong13 192.168.1.13 Kafka+zookeeper 这里部署单节点 2.2、 环境配置 2.2.1、 软件版本 这里使用最新的7.3.0版本，ELK所有的组件最好选择相同的版本 2.2.2、 时间同步 所有节点都需要进行时间同步 [roo
Elasticsearch学习（二十二）ElasticsearchClient 打印请求日志
码易的博客
05-19 2060
目录前言一、请求示例二、执行流程三、拦截器 前言 在请求es的过程中，打印出请求方式、请求uri、请求参数等信息 一、请求示例 @Test public void updateMapping() throws Exception { Map<String, Property> map = new HashMap<>(); Property name = new Property.Builder()
日志中心集成
┄─━╋独特
01-28 338
集成maven依赖 <dependency> <groupId>cn.sunline.edsp</groupId> <artifactId>edsp-cloud-starter-skywalking</artifactId> <version>{{ book.ver }}</version> </dependency> 加入这个依赖是为了在下一步注入edsp-application、ed
spring boot集成 elasticsearch集群 之REST Client
weixin_43174967的博客
05-29 5228
elasticsearch 集群的搭建 和 概念这里不说可以参考以下地址: https://www.cnblogs.com/chenmc/tag/elasticSearch/ ,主要记录下,自己工作中要去集成es 时,选用操作es的方式 三种方式 操作es的主要有三种方式: 第一种 :spring date es ,这种方式简单,多用于一些简单业务,但因为方法都帮你封装好了,灵活度不高!(复杂业...
ElasticSearch对象化
qq_35978993的博客
05-03 387
这里写自定义目录标题ElasticSearch对象化引入jar包配置文件工厂类RestHighLevelClient启动类注解@EsCommonFilter@DateFormat@ExcludeField@FieldType@Fuzzy@QueryFilter@TimeMax @TimeMin增删改查接口层BaseService与坐标有关的 GeoPointBaseService实现层BaseIm...
ES搜索引擎的使用完整代码
pengli
02-26 689
ES(ElasticSearch)搜索引擎，ES搜索引擎的使用完整代码、es的代码过程
ElasticSearch RestHighLevelClient 教程（一）通用操作
热门推荐
paditang的博客
12-14 12万+
前言 ​ 项目中使用到ElasticSearch作为搜索引擎。而ES的环境搭建自然是十分简单，且本身就适应于分布式环境，因此这块就不多赘述。而其本身特性和查询语句这篇博文不会介绍，如果有机会会深入介绍。 ​ 所以这篇博文主要还是介绍Java客户端中如何使用查询搜索引擎中的数据。而使用的Java客户端是官方新推出的RestHighLevelClient，使用Http连接查询结果。但是网上
Elasticsearch异构数据迁移与实时同步实战指南
本文档深入探讨了ElasticSearch（ES）的数据迁移与容灾实践，ES作为一款基于Lucene的分布式搜索引擎，因其高效和广泛应用，特别是在搜索、日志管理（APM）、IoT等领域而备受关注。文章首先聚焦于异构数据与ES之间的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值