公司实战 ElasticSearch+Kafka+Redis+MySQL
前一段时间公司要进行数据转移,将我们ES数据库中的数据转移到客户的服务器上,并且使用定时将新增的数据同步,在这过程中学到了很多,在此记录一下!Mysql + Redis + ElasticSearch + Kafka为了降低服务器的压力,在每天的零时进行推送数据,推送前比较上一次推送记录在Redis中的数据,此记录为ES数据库中的时间字段,每次推送结束前都会将最新的时间更新在这个key中,如果获取ES数据库中的字段与key一样,说明今日无数据更新。因为ES索引的数据量在千万以上,所以没有选择分页,而是选
原创
2022-12-02 01:33:14 ·
4809 阅读 ·
3 评论