Crontab定时同步MySQL数据到ES中

本文介绍了如何通过Crontab定时任务和PHP实现MySQL数据到Elasticsearch的同步。首先介绍业务背景,然后详细讲解了同步流程,包括新建ES索引和映射,判断并更新新增数据的方法,最后提到了数据更新时的同步策略。
摘要由CSDN通过智能技术生成

本来计划是用logstash来自动同步mysql数据的,奈何配置一直出问题。就只能自己写代码来实现了。

业务需求:

公司业务发展,需要在现有的项目基础上做ES搜索。那就需要同步现有的数据到ES中(现有的数据存储在mysql上)。

技术分析:

这里以同步“文章”表的数据举例。

1    定时任务:项目放在云服务器上,contos7.3的系统。可以使用cronteb定时任务来检测是否有新增数据,进行自动更新操作。

2    ES操作:

    2.1    新建索引(index)和 映射,映射的结构就是自己想存储的数据结构。

    2.2    用聚合查询找到当前存储在ES上的最后一篇文章id,再从数据库查出最后一篇文章id,判断两个ID是否一样,数据库的ID大就证明有新数据了。

    2.3    有新数据,就用两个id作为条件,搜索出新增的文章,批量存储到ES中。

上代码片段

1    单例模式创建ES对象

<?php
namespace app\index\controller;

use Elasticsearch\ClientBuilder;
use think\Db;

class QuanTest
{
    private $client;
    public function __construct() {
        if (!empty($this->client)) {
            return $this->client;
      

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值