springBoot集成Elasticsearch与数据同步方案与问题解决

最新推荐文章于 2024-06-11 18:01:44 发布
最新推荐文章于 2024-06-11 18:01:44 发布
阅读量3.5k 收藏 8
点赞数 2
文章标签： elasticsearch java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41354978/article/details/105276352
版权

一、springBoot集成Es

1、引入jar包依赖

<dependency>
      <groupId>org.springframework.boot</groupId>
      <artifactId>spring-boot-starter-data-elasticsearch</artifactId>
</dependency>

<dependency>
       <groupId>org.elasticsearch.plugin</groupId>
       <artifactId>transport-netty4-client</artifactId>
       <version>6.2.3</version>
</dependency>

2、配置连接属性

spring: 
    data:
        elasticsearch:
            repositories:
                enabled: true
            cluster-name: elasticsearch
            cluster-nodes: 127.0.0.1:9300

3、springboot版本为2.1.9.RELEASE，与es版本对应关系如图：

4、启动项目 

项目启动报错：Error creating bean with name 'elasticsearchClient', AvailableProcessors is already set to [4] 百度上解释是es和 redis产生冲突

解决方式：在启动类中加上

@SpringBootApplication
public class HumanPersonalApplication {

    public static void main(String[] args) {
        System.setProperty("es.set.netty.runtime.available.processors","false");
        SpringApplication.run(HumanPersonalApplication.class, args);
    }

}

 在测试类中加上

    public EsTest() {
        System.setProperty("es.set.netty.runtime.available.processors","false");
    }

二、下载对应版本的Elasticsearch、Logstash、kibana进行安装

下载路径：https://www.elastic.co/cn/downloads/

 

三、同步数据两种方式：

1、使用业务代码实现同步

1.1 在业务层进行数据同步，将查询的结果进行封装成对象同步到Es中

    @Test
    public void same(){
        //创建索引
        elasticsearchTemplate.createIndex(Resume.class);
        List<Resume> list = enterpriseBidStaffMapper.selectAll();
        for (Resume r:list) {
            List<EducationExperiences> educationExperiences = r.getEducationExperiences();
            if(educationExperiences!=null && educationExperiences.size()>0){
                for (EducationExperiences e:educationExperiences) {
                    if(e.getEducation()!=null){
                        e.setEducationo(Transformation.getEducation(e.getEducation()));
                    }
                }
            }
        }
        //批量同步数据
        esRespostory.saveAll(list);
        System.out.println(list.size());
    }

1.2 关于LocalDateTime反 序列化问题处理方案：

    /**
    * 创建时间
    */
    @DateTimeFormat(pattern = "yyyy-MM-dd\'T\'HH:mm:ss.SSS")
    @JsonSerialize(using = LocalDateTimeSerializer.class)
    @JsonDeserialize(using = LocalDateTimeDeserializer.class)
    private LocalDateTime createTime;

1.3 对于分词字段与不分词字段设置

        /**
	 * FieldType.Text 定义该字段需要分词
	 */
	@Field(type = FieldType.Text,analyzer = "ik_max_word")
	private String hopeOccupationName;

        /**
	 * FieldType.Keyword定义字段不需要分词
	 */
	@Field(type = FieldType.Keyword)
	private String jobNature;

1.4 对于es分页查询

        Integer pageNo = Integer.valueOf(maps.get("page").toString());
        Integer pageSize = Integer.valueOf(maps.get("limit").toString());
        //pageNo-1当前页
        //每页记录数
        //Sort.by(Sort.Direction.DESC,"排序字段")
        PageRequest pageRequest = PageRequest.of(pageNo-1, pageSize,   Sort.by(Sort.Direction.DESC,"id"));
        org.springframework.data.domain.Page<Resume> page = esRespostory.search(boolQueryBuilder,pageRequest);
        List<Resume> resumes = page.getContent();
        Map<String, Object> result = new HashMap<>();
        result.put("records" ,resumes);
        result.put("total", page.getTotalElements());
        result.put("size",pageSize);
        result.put("current",pageNo);
        int totalElements = (int)page.getTotalElements();
        result.put("pages",totalElements%pageSize==0?totalElements/pageSize:totalElements/pageSize+1);

2 、使用Logstash进行数据增量同步

1、修改配置文件

# Sample Logstash configuration for creating a simple
# Beats -> Logstash -> Elasticsearch pipeline.

input {

  stdin {}
  
  jdbc {
    jdbc_driver_library => "E:\\Elasticsearch\\logstash-6.4.3\\mysql-connector-java-5.1.47.jar"
    jdbc_driver_class => "com.mysql.jdbc.Driver"
    jdbc_connection_string => "jdbc:mysql://ip:port/sipaote_human_test?useUnicode=true&characterEncoding=utf8&allowMultiQueries=true"
    jdbc_user => "name"
    jdbc_password => "pwd"
    jdbc_paging_enabled => true
    #是否记录上次执行结果，如果为真，将会把上次执行到的tracking_column字段的值记录下来，保存到last_run_metadata_path指定的文件中
    record_last_run => true
    #是否需要记录某个column的值
    use_column_value => true
    #如果use_column_value的值为true,需配置此参数，track的数据库column名，该column必须是递增的
    tracking_column => "updateTime"
    tracking_column_type => "timestamp"
    last_run_metadata_path => "E:\\Elasticsearch\\logstash-6.4.3\\.logstash_jdbc_last_run"
    lowercase_column_names => false
    #处理中文乱码问题
    codec => plain { charset => "UTF-8"}
    # 索引类型
    #type => "bid"
    clean_run => false
    schedule => "*/5 * * * * *"
    statement_filepath => "E:\\Elasticsearch\\logstash-6.4.3\\my.sql"
    #statement => ""
  }
}

filter {
     aggregate {
        task_id => "%{bsid}"
        code => "
            map['bsid'] = event.get('bsid')
            map['hopeCityName'] = event.get('hopeCityName')
            map['hopeIndustryName'] = event.get('hopeIndustryName')
            map['hopeOccupationName'] = event.get('hopeOccupationName')
			map['jobNature'] = event.get('jobNature')
			map['name'] = event.get('name')
			map['tel'] = event.get('tel')
			map['createTime'] = event.get('createTime')
			map['sex'] = event.get('sex')
			map['createUser'] = event.get('createUser')
			map['enterpriseId'] = event.get('enterpriseId')
			map['headhuntingName'] = event.get('headhuntingName')
			map['isBlack'] = event.get('isBlack')
			#使用map['w_list']去除重复
			map['w_list'] ||=[]
			map['workExperience'] ||=[]
			if(event.get('wid')!=nil)
				if !(map['w_list'].include? event.get('wid'))
					map['w_list'] << event.get('wid')
					map['workExperience'] << {
						'wid' => event.get('wid'),
						'industryName' => event.get('industryName'),
						'skillsDescribe' => event.get('skillsDescribe')
					}
				end
			end
			map['e_list'] ||=[]
			map['educationExperiences'] ||=[]
			if(event.get('eid')!=nil)
				if !(map['e_list'].include? event.get('eid'))
					map['e_list'] << event.get('eid')
					map['educationExperiences'] << {
						'eid' => event.get('eid'),
						'schoolName' => event.get('schoolName'),
						'speciality' => event.get('speciality')
					}
				end
			end
			map['s_list'] ||=[]
			map['skill'] ||=[]
			if(event.get('sid')!=nil)
				if !(map['s_list'].include? event.get('sid'))
					map['s_list'] << event.get('sid')
					map['skill'] << {
						'sid' => event.get('sid'),
						'skillName' => event.get('skillName')
					}
				end
			end
			map['c_list'] ||=[]
			map['certificate'] ||=[]
			if(event.get('cid')!=nil)
				if !(map['c_list'].include? event.get('cid'))
					map['c_list'] << event.get('cid')
					map['certificate'] << {
						'cid' => event.get('cid'),
						'certificateName' => event.get('certificateName')
					}
				end
			end
            event.cancel()
        "
        
        push_previous_map_as_event => true
        timeout => 5
    }
    json {
        source => "message"
        remove_field => ["message"]
        #remove_field => ["message", "type", "@timestamp", "@version"]
    }
    mutate  {
        #将不需要的JSON字段过滤，且不会被存入 ES 中
        remove_field => ["tags", "@timestamp", "@version"]
    }
}



output {

 #if[type]=="bid"{
	elasticsearch {
		hosts => ["127.0.0.1:9200"]
		index => "human"
		document_type => "resumans"
		document_id => "%{bsid}"
    }
  
    stdout{
		codec => json
    }
 #}
  
}

2.2  多表关联查询语句

SELECT
	bs.id bsid,
	bs.hope_city_name hopeCityName,
	bs.hope_industry_name hopeIndustryName,
	bs.hope_occupation_name hopeOccupationName,
	bs.job_nature jobNature,
	bs.job_status jobStatus,
	bs.`name`,
	bs.tel,
	bs.create_time createTime,
	bs.sex,
	bs.create_user createUser,
	IF(
		IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(w.update_time,'1997-1-1 00:00:00'),
		IF(
			IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(e.update_time,'1997-1-1 00:00:00'),
			IF(
				IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),bs.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			),
			IF(
				IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),e.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			)
		),
		IF(
			IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(e.update_time,'1997-1-1 00:00:00'),
			IF(
				IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),w.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			),
			IF(
				IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),e.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			)
		)
	) updateTime,
	w.id wid,
	w.industry_name industryName,
	w.skills_describe skillsDescribe,
	e.id eid,
	e.school_name schoolName,
	e.speciality speciality,
	e.education education,
	c.id cid,
	c.certificate_name certificateName,
	s.id sid,
	s.skill_name skillName,
	u.`name` headhuntingName,
	IF(k.id is NULL,0,1) isBlack
FROM s_enterprise_bid_staff bs
LEFT JOIN s_work_experience w ON bs.id=w.bid_staff_id
LEFT JOIN s_education_experience e ON bs.id=e.bid_staff_id
LEFT JOIN s_certificate c ON bs.id=c.bid_staff_id
LEFT JOIN s_skill s ON bs.id=s.bid_staff_id
LEFT JOIN s_enterprise_user u ON bs.bid_enterprise_id=u.id
LEFT JOIN s_blacklist k ON k.bid_staff_id=bs.id AND is_delete=0
where 
bs.id in (
	SELECT
		bs.id bsid
	FROM s_enterprise_bid_staff bs
	LEFT JOIN s_work_experience w ON bs.id=w.bid_staff_id
	LEFT JOIN s_education_experience e ON bs.id=e.bid_staff_id
	LEFT JOIN s_certificate c ON bs.id=c.bid_staff_id
	LEFT JOIN s_skill s ON bs.id=s.bid_staff_id
	LEFT JOIN s_enterprise_user u ON bs.bid_enterprise_id=u.id
	LEFT JOIN s_blacklist k ON k.bid_staff_id=bs.id
	where 
	IF(
		IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(w.update_time,'1997-1-1 00:00:00'),
		IF(
			IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(e.update_time,'1997-1-1 00:00:00'),
			IF(
				IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(bs.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),bs.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			),
			IF(
				IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),e.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			)
		),
		IF(
			IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(e.update_time,'1997-1-1 00:00:00'),
			IF(
				IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(w.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),w.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			),
			IF(
				IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(c.update_time,'1997-1-1 00:00:00'),
				IF(
					IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(e.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),e.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				),
				IF(
					IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(s.update_time,'1997-1-1 00:00:00'),
					IF(IFNULL(c.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),c.update_time,k.update_time),
					IF(IFNULL(s.update_time,'1997-1-1 00:00:00')>IFNULL(k.update_time,'1997-1-1 00:00:00'),s.update_time,k.update_time)
				)
			)
		)
	)> :sql_last_value
)
ORDER BY bs.id DESC

2.3 遇到的问题与解决方案：

2.3.1   logstash同步nested嵌套数据类型 ：创建对应的mapping 映射关系

PUT /human
{
  "mappings": {
    "resumans": {
      "properties": {
        "bsid":{
          "type": "integer"
        },
        "hopeCityName":{
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"
        },
        "hopeIndustryName":{
          "type": "text",
          "analyzer": "ik_max_word",
          "search_analyzer": "ik_max_word"

        },
        "hopeOccupationName":{
          "type": "text"
        },
        "jobNature":{
          "type": "text"
        },
        "name":{
          "type": "keyword"
        },
        "tel":{
          "type": "keyword"
        },
        "createTime":{
          "type": "date"
        },
        "sex":{
          "type": "integer"
        },
        "createUser":{
          "type": "integer"
        },
        "enterpriseId":{
          "type": "integer"
        },
        "headhuntingName":{
          "type": "keyword"
        },
        "isBlack":{
          "type": "integer"
        },
        "workExperience":{
           "type": "nested", 
           "properties": {
             "wid":{
               "type":"integer"
             },
             "industryName":{
               "type":"text"
             },
             "skillsDescribe":{
               "type":"text"
             }
           }
        },
        "educationExperiences":{
          "type": "nested",
          "properties":{
            "eid":{
              "type":"integer"
            },
           "schoolName":{
              "type":"text",
              "analyzer": "ik_max_word",
              "search_analyzer": "ik_max_word"
            },
            "speciality":{
              "type":"text",
              "analyzer": "ik_max_word",
              "search_analyzer": "ik_max_word"
            }
          }
        },
        "skill":{
          "type": "nested",
          "properties":{
            "sid":{
            "type":"integer"
          },
          "skillName":{
            "type":"text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
          }
          }
        },
        "certificate":{
          "type": "nested",
          "properties":{
            "cid":{
            "type":"integer"
          },
          "certificateName":{
            "type":"text",
            "analyzer": "ik_max_word",
            "search_analyzer": "ik_max_word"
          }
          }
        }
      }
    }
  }
}

2.3.2   logstash同步数据时会出现子对象数组中的对象数据出现重复：

  解决方法：

    #使用map['w_list']去除重复
    map['w_list'] ||=[]
    map['workExperience'] ||=[]
    if(event.get('wid')!=nil)
        if !(map['w_list'].include? event.get('wid'))
            map['w_list'] << event.get('wid')
            map['workExperience'] << {
                'wid' => event.get('wid'),
                'industryName' => event.get('industryName'),
                'skillsDescribe' => event.get('skillsDescribe')
            }
        end
    end

2.3.3 logstash同步时少同步一条数据，在停止logstash服务时才进行同步

在filter 聚合配置中添加：timeout => 5

filter aggregate 创建中 event map 并不知道这次事件是不是应该结束，也就是它也不知道到那一条才是最后一条, 因此设置一个 timeout 告诉它这个时间执行多少秒就结束继续执行第二个。但这样并不是很严谨，因为你也不确定你的 event map 到底要执行多久 。最好的方式是 我们应该给定一个 task end 的条件

2.3.4 logstash第一次全量同步数据时会出现子对象数组中的对象丢失

解决方法参考：https://blog.csdn.net/menglinjie/article/details/102984845

天蝎座小小熊
关注
  • 2
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
SpringBoot集成Elasticsearch（已实现各种ES操作，上手即可用
11-12
本实例为博主原创，属于简单易上手并且能够拿来就用的SpringBoot ES 项目，全文使用的是ElasticsearchTemplate进行开发。 本实例涵盖ES中的各类操作，如索引操作、CRUD操作、批处理、结果排序、分页查询、检索查询、...
springboot集成elasticSearch.zip
07-14
本示例"springboot集成elasticSearch.zip"提供了一个完整的集成方案，让我们详细探讨一下这个集成过程中的关键知识点。 首先，**集成准备**。在集成Spring Boot和Elasticsearch之前，我们需要确保已安装了Elastic...
Canal简介
qq_41794285的博客
11-29 989
简介 Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费 早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。 基于日志增量订阅和消费的业务包括 数据库镜像 数据...
Spring Boot整合Elasticsearch、Logstash实现MySQL数据同步及全文搜索
ikkkp的博客
08-11 1259
本篇文章使用Spring Boot整合Elasticsearch、Logstash实现全文搜索，保姆级教学！
12-Springboot集成Elasticsearch
最新发布
qq_42397932的博客
06-11 1028
Springboot集成Es
springboot整合Elasticsearch实现搜索功能以及数据同步
weixin_50990008的博客
01-04 581
springboot整合es，实现搜索功能以及数据同步
聊聊分库分表
m0_67597657的博客
02-20 1435
随着互联网技术的发展，数据量呈爆炸性增长。大数据量的业务场景中，数据库成为系统性能瓶颈的一个主要因素。当单个数据库包含了太多数据或过高的访问量时，会出现查询缓慢、响应时间长等问题，严重影响用户体验。为了解决这一问题，分库分表技术应运而生。通过将数据分散到多个数据库或表中，从而有效提升系统的处理能力和稳定性。在实际应用中，可能需要根据实际情况结合多种策略来满足不同的查询需求。同时，随着业务的发展和数据量的增长，可能需要不断调整和优化分库分表策略。如何解决热点数据倾斜问题？
SpringBoot+Elasticsearch按日期实现动态创建索引(分表)
一恍过去
02-19 1万+
SpringBoot+Elasticsearch按日期实现动态创建索引(分表)
ElasticSearch 同步MySQL数据方案汇总
Tongyao
05-16 1063
本文主要对Mysql和ES进行数据同步的常见方案进行了汇总说明。同步双写是最简单的同步方式，能最大程度保证数据同步写入的实时性，最大的问题是代码侵入性太强。异步双写引入了消息中间件，由于MQ都是异步消费模型，所以可能出现数据同步延迟的问题。好处是在大规模消息同步时吞吐量更、高性能更好，便于接入更多的数据源，且各个数据源数据消费写入相互隔离互不影响。基于Mysql表定时扫描同步。
springboot整合elasticsearch7实现es数据同步，查询、相关度排序、高亮显示、自动补全搜索等功能。
03-31
springboot整合elasticsearch7，进行数据同步。elasticsearch相关度查询、排序。高亮显示；自动补全等功能。代码仅供参考，代码中有具体的注释，可以根据代码及注释内容，对自己项目架构及业务进行修改、整合。
Springboot集成elasticsearch
04-18
本文将深入探讨如何将Spring Boot与Elasticsearch进行集成，以及如何利用它们实现数据的增删查改操作。 ### 1. 安装与配置 首先，确保你已经安装了Elasticsearch。下载并启动Elasticsearch服务后，可以通过浏览器...
springBoot整合kafka和elasticSearch,实现批量拉取日志以及批量更新到es里
01-15
从Kafka中批量拉去数据，然后批量更新到es里。一次拉取的数量可以设置，现在是10000，轻松运转，更新到es内部也是，目标是百万日志秒处理
springboot+elasticsearch
06-13
在描述中提到，“es+springboot+mysql 实现mysql数据同步es，然后查询es数据各种demo实现”，这表明项目旨在实现在MySQL数据库和Elasticsearch之间进行数据同步，同时提供了查询Elasticsearch数据的各种示例代码。...
ElasticSearch - 海量数据索引拆分的一些思考
小工匠
08-26 7657
本次主要通过索引的拆分与合并，来提升查询性能，同时降低整体集群的资源使用量。过程中我们探索了在线数据的跨集群迁移，多索引联合查询的应用，数据写入的同步异步切换等，希望能够为大家提供解决 ES 大规模数据检索的瓶颈，提供参考。虽然本次相对比较平滑的完成了索引的拆分，但是需要耗费大量的开发和测试资源。伴随业务的快速发展，遇到数据瓶颈的业务线，可能有会逐渐增多，如果届时每个业务域要独自开发和测试，成本还是相对较高的。
Springboot之整合Socket连接
热门推荐
学习和工作总结，共勉！
04-22 3万+
Socket连接与硬件通信 一、如何让socket随着springboot项目一起启动 SpringBoot中CommandLineRunner的作用：平常开发中有可能需要实现在项目启动后执行的功能，SpringBoot提供的一种简单的实现方案就是添加一个model并实现CommandLineRunner接口，实现功能的代码放在实现的run方法中 具体实现 import org.springfra...
springboot elasticsearch的用法
老王的博客
05-05 533
1.参考中文官网查看详细语法内容 点击去官网 入门级别的用法 2.springboot使用elasticsearch 1.springboot有两种方式与elasticsearch交互 通过jest的方式，默认是不启动的 1).首先创建springboot的项目，选中web以及nosql的elasticsearch 2).因为使用的是是jest的方式，需要把elasticsearch依赖删除，导...
定时删除elasticsearch指定时间之前的数据（delete同步问题）
qq_43130832的博客
04-02 7014
1、批量删除elasticsearch6.6.2 小于指定时间的数据 [root@zabbix:/root/elastic]$ cat del_hz.sh curl -u elastic:***** -XPOST "http://111.111.111.111:9201/Indexname/_delete_by_query" -H 'Content-Type: application/json'...
ElasticSearch删除数据后释放磁盘空间
skullxin19的博客
06-22 6229
问题：公司es 几百万数据量，删到只剩30万数据量，数据磁盘并没有变少多少。 经过查询才知道删除文档并没有真正删除，仅作了删除标记，从而不能再被搜索到。要想释放磁盘的空间，要使用forcemerge命令合并段减少分片中段数量、删除冗余数据。 1、优化所有索引： POST http://localhost:9200/_forcemerge?only_expunge_deletes=true 2、优化单个索引： POST http://localhost:9200/索引名/_forcemerge?o.
脚本文件实现elasticsearch集群定时删除7天前索引数据
fengzhimohan的博客
11-06 3540
elasticsearch定时删除7天前索引数据的步骤： 1.新建sh脚本文件 项目中elasticsearch集群有两台服务器，分别为126和127,选择127服务器新建sh脚本文件。 es_index_delete.sh脚本文件内容如下： #!/bin/bash #es_index_delete.sh LAST_DATA=`date -d "-7 days" "+%Y-%m-%d"` cur...
springboot集成elastic数据同步date类型数据
05-11
如果你在使用Spring Boot集成Elasticsearch，并且需要同步日期类型数据，可以按照以下步骤进行： 1. 确认你的数据模型中日期类型使用的是java.util.Date或java.time.LocalDateTime等类型。 2. 在使用Elasticsearch高版本中，日期类型默认使用的是date类型，可以在映射文件中进行配置。 3. 在Spring Boot中，可以使用Spring Data Elasticsearch来操作Elasticsearch。在实体类中使用@Field注解来指定映射关系，例如： ``` @Field(type = FieldType.Date, format = DateFormat.custom, pattern = "yyyy-MM-dd HH:mm:ss.SSS") private Date createTime; ``` 在上面的示例中，我们指定了createTime字段的类型为日期类型，格式为自定义格式，对应的日期格式为“yyyy-MM-dd HH:mm:ss.SSS”。 4. 在Elasticsearch高版本中，日期类型默认使用UTC时区，可以在映射文件中进行配置。例如： ``` "date": { "type": "date", "format": "yyyy-MM-dd HH:mm:ss.SSS", "timezone": "+08:00" } ``` 在上面的示例中，我们指定了日期类型的格式和时区。 5. 在Spring Boot中，可以使用ElasticsearchTemplate或ElasticsearchRestTemplate来进行数据操作，例如： ``` List<Entity> entities = repository.findAll(); elasticsearchTemplate.putMapping(Entity.class); elasticsearchTemplate.save(entities); ``` 在上面的示例中，我们使用Repository来查询数据，并使用ElasticsearchTemplate来进行数据操作。 综上所述，如果你需要在Spring Boot集成Elasticsearch中同步日期类型数据，可以在实体类中使用@Field注解指定映射关系，并在映射文件中配置日期类型的格式和时区。同时，可以使用Spring Data Elasticsearch和ElasticsearchTemplate或ElasticsearchRestTemplate来进行数据操作。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值