实战用Docker搭建同步MySQL数据到Elasticsearch

最新推荐文章于 2024-07-07 13:26:23 发布
最新推荐文章于 2024-07-07 13:26:23 发布
阅读量289 收藏 6
点赞数 4
文章标签： docker mysql elasticsearch
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MasterYI_LOL/article/details/137251045
版权

用Docker搭建Elasticsearch、Kibana、Logstash 同步MySQL数据到ES

参考资料：

https://www.51cto.com/article/744327.html

https://blog.csdn.net/weixin_44792186/article/details/121451220

日常业务中涉及很多统计查询需求，MySQL往往不能很好支持，我们常采用ElasticSearch作为技术栈的补充，本次我们就实战下怎么用Docker部署实现这套流程。

image-20240401223458151

目录结构

我们项目的文件目录结构如下：

├── docker-compose.yml #docker-compose 模板文件
├──elk	#存放ElasticSearch相关工具的目录，包括elasticsearch、kibana、logstash
|   ├── elasticsearch #elasticsearch的挂载目录
|   │ ├── config
|   │ │ └── elasticsearch.yml #elasticsearch配置文件 
|   │ ├── data
|   │ ├── logs
|   │ └── plugins
|   ├── kibana #elasticsearch的挂载目录
|   │ └── config
|   │     └── kibana.yml #kibana的配置文件
|   └── logstash #logstash的挂载目录
|       └── config #logstash的配置目录
|           ├── log #logstash日志存放
|           ├── logstash.conf #logstash关于从MySQL获取数据的配置
|           ├── logstash.yml #Logstash配置选项可以控制Logstash的执行
|           ├── mysql-connector-java-8.0.28.jar #java连接mysql的组件包
|           ├── mysql-connector-java-8.0.28.jar:Zone.Identifier
|           └── pipelines.yml #Logstash配置文件中定义多个pipeline的地方
|
└── mysql #mysql的挂载目录
    ├── conf #mysql的配置目录
    │ ├── my.cnf
    ├── data #mysql的数据目录

配置文件

我们为这些建好需要配置的目录和文件：

功能演示，对安全相关配置做简单处理

docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.17.7
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      - cluster.name=elasticsearch
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - ./elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - ./elk/elasticsearch/data:/usr/share/elasticsearch/data
      - ./elk/elasticsearch/logs:/usr/share/elasticsearch/logs
    networks:
      default:
        ipv4_address: 172.25.0.2

  kibana:
    image: kibana:7.17.7
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    environment:
      I18N_LOCALE: zh-CN
    volumes:
      - ./elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      default:
        ipv4_address: 172.25.0.3

  # 暂时不启用logstash，等mysql数据库准备好了再启用
  # logstash:
  #   image: logstash:7.17.7
  #   ports:
  #     - "5044:5044"
  #   volumes:
  #     - ./elk/logstash/config:/usr/share/logstash/config
  #   depends_on:
  #     - elasticsearch
  #   networks:
  #     default:
  #       ipv4_address: 172.25.0.4

  mysql:
    image: mysql:5.7
    ports:
      - "3306:3306"
    volumes:
      - ./mysql/data:/var/lib/mysql
      - ./mysql/conf:/etc/mysql/conf.d
    environment:
      MYSQL_ROOT_PASSWORD: root
    networks:
      default:
        ipv4_address: 172.25.0.5
  
networks:
  proxy:
    external: true 
  default:
    driver: bridge
    ipam:
      config:
        - subnet: 172.25.0.0/16 # 这里使用了固定ip, 请按您的主机网络做调整

elk/elasticsearch/config/elasticsearch.yml

http.host: 0.0.0.0
xpack.security.enabled: false

elk/kibana/config/kibana.yml

server.host: 0.0.0.0
elasticsearch.hosts: [ "http://172.25.0.2:9200" ]

elk/logstash/config/logstash.conf

这里设置了一分钟同步一次sys_log

input {
    stdin {
    }
    jdbc {
      jdbc_connection_string => "jdbc:mysql://172.25.0.5:3306/test?useUnicode=true&characterEncoding=utf8&serverTimeznotallow=UTC"
      jdbc_user => "root"
      jdbc_password => "root"
      jdbc_driver_library => "/usr/share/logstash/config/mysql-connector-java-8.0.28.jar"
      jdbc_driver_class => "com.mysql.jdbc.Driver"
      jdbc_paging_enabled => "true"
      jdbc_page_size => "300000"
      statement => "SELECT id, title, business_type, method, request_method, oper_name, oper_url, oper_ip, oper_time FROM sys_log"
      schedule => "*/1 * * * *" 
      use_column_value => false
      tracking_column_type => "timestamp"
      tracking_column => "oper_time"
      record_last_run => true
      jdbc_default_timezone => "Asia/Shanghai"
      last_run_metadata_path => "/usr/share/logstash/config/log"
    }
}

output {
    elasticsearch {
        hosts => ["172.25.0.2"]
        index => "sys_log"
        document_id => "%{id}"
    }
    stdout {
        codec => json_lines
    }
}

elk/logstash/config/logstash.yml

http.host: 0.0.0.0
xpack.monitoring.elasticsearch.hosts: [ "http://172.25.0.2:9200" ]

elk/logstash/config/pipelines.yml

- pipeline.id: sys_log
  path.config: "/usr/share/logstash/config/logstash.conf"

elk/logstash/config/mysql-connector-java-8.0.28.jar

下载地址：https://mvnrepository.com/artifact/mysql/mysql-connector-java

创建 elk/logstash/config/log

touch elk/logstash/config/log

mysql/conf/my.cnf

[client]
default-character-set=utf8
[mysql]
default-character-set=utf8
[mysqld]
character-set-server=utf8
collation-server=utf8_unicode_ci
skip-character-set-client-handshake
skip-name-resolve

对elk文件夹做开放权限

演示场景，生产环境不可这么操作

sudo chmod -R 777 elk

第一次启动

各项配置文件创建好了，我们执行docker-compose up -d启动各个容器

创建需要传输的数据库和表

连接mysql

创建实验数据库：test

CREATE DATABASE test
CHARACTER SET utf8
COLLATE utf8_general_ci;

创建表：sys_log

use test;

CREATE TABLE `sys_log`  (
  `id` bigint(20) NOT NULL AUTO_INCREMENT COMMENT '日志主键',
  `title` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '模块标题',
  `business_type` int(2) NULL DEFAULT 0 COMMENT '业务类型（0其它 1新增 2修改 3删除）',
  `method` varchar(100) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '方法名称',
  `request_method` varchar(10) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '请求方式',
  `oper_name` varchar(50) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '操作人员',
  `oper_url` varchar(255) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '请求URL',
  `oper_ip` varchar(128) CHARACTER SET utf8 COLLATE utf8_general_ci NULL DEFAULT '' COMMENT '主机地址',
  `oper_time` datetime(0) NULL DEFAULT NULL COMMENT '操作时间',
  PRIMARY KEY (`id`) USING BTREE
) ENGINE = InnoDB AUTO_INCREMENT = 1585197503834284034 CHARACTER SET = utf8 COLLATE = utf8_general_ci COMMENT = '操作日志记录' ROW_FORMAT = Dynamic;

新建es的索引

进入 http://localhost:5601/app/dev_tools#/console

请按您的网络环境的ip访问kibana

PUT /sys_log
{
  "settings": {
    "number_of_shards": 1,
    "number_of_replicas": 0,
    "index": {
      "max_result_window": 100000000
    }
  },
  "mappings": {
    "dynamic": "strict",
    "properties": {
      "@timestamp": {
        "type": "date"
      },
      "@version": {
        "type": "text",
        "fields": {
          "keyword": {
            "type": "keyword",
            "ignore_above": 256
          }
        }
      },

      "business_type": {
        "type": "integer"
      },
      "title": {
        "type": "text"
      },
      "method": {
        "type": "text"
      },
      "request_method": {
        "type": "text"
      },
      "oper_name": {
        "type": "text"
      },
      "oper_url": {
        "type": "text"
      },
      "oper_ip": {
        "type": "text"
      },
      "oper_time": {
        "type": "date"
      },
      "id": {
        "type": "long"
      }
    }
  }
}

启动logstash

修改 docker-compose.yml

version: '3'
services:
  elasticsearch:
    image: elasticsearch:7.17.7
    ports:
      - "9200:9200"
      - "9300:9300"
    environment:
      - cluster.name=elasticsearch
      - discovery.type=single-node
      - "ES_JAVA_OPTS=-Xms512m -Xmx512m"
    volumes:
      - ./elk/elasticsearch/plugins:/usr/share/elasticsearch/plugins
      - ./elk/elasticsearch/data:/usr/share/elasticsearch/data
      - ./elk/elasticsearch/logs:/usr/share/elasticsearch/logs
    networks:
      default:
        ipv4_address: 172.25.0.2

  kibana:
    image: kibana:7.17.7
    ports:
      - "5601:5601"
    depends_on:
      - elasticsearch
    environment:
      I18N_LOCALE: zh-CN
    volumes:
      - ./elk/kibana/config/kibana.yml:/usr/share/kibana/config/kibana.yml
    networks:
      default:
        ipv4_address: 172.25.0.3

  logstash:
    image: logstash:7.17.7
    ports:
      - "5044:5044"
    volumes:
      - ./elk/logstash/config:/usr/share/logstash/config
    depends_on:
      - elasticsearch
    networks:
      default:
        ipv4_address: 172.25.0.4

  mysql:
    image: mysql:5.7
    ports:
      - "3306:3306"
    volumes:
      - ./mysql/data:/var/lib/mysql
      - ./mysql/conf:/etc/mysql/conf.d
    environment:
      MYSQL_ROOT_PASSWORD: root
    networks:
      default:
        ipv4_address: 172.25.0.5
  
networks:
  proxy:
    external: true 
  default:
    driver: bridge
    ipam:
      config:
        - subnet: 172.25.0.0/16

重新读取docker-compose.yml 启动容器

docker-compose down

docker-compose up -d

测试是否正常运行

在mysql中新增一条数据

INSERT INTO `test`.`sys_log` (`title`) VALUES ( 'this is test 1');

过一分钟后看es有没有数据

GET /sys_log/_search
{
  "query": {
    "match_all": {}
  }
}

可以看到存在数据

屏幕截图 2024-04-01 235445

咸鱼真咸
关注
  • 4
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MySQL同步数据到Elasticsearch
iiopsd的博客
03-18 4246
MySQL同步数据到Elasticsearch
docker安装ELK同步mysql数据并展示
日日留心的技术专栏
05-28 1899
1 docker安装ELK镜像 首先，elasticsearch、logstash、kibana三者的版本必须严格的一致，不然会不兼容。 REPOSITORY TAG IMAGE ID CREATED SIZE mysql latest 30f937e841c8 7 days ago 541MB logstash
Docker搭建ELK
weixin_43881351的博客
06-26 155
文章目录准备工作1.创建docker网络2.编写logstash.conf3.准备jar一、 Docker搭建Elasticsearch1.拉取镜像2.启动容器3.访问测试4.可能出现问题二、Docker搭建Kibana1.拉取镜像2.启动容器3.访问测试三、Logstash同步数据1.拉取镜像2.启动容器3.服务验证总结 提示：以下是本篇文章正文内容，下面案例可供参考 准备工作 1.创建docker网络 本文创建docker网络,以下ip地址将都以容器名代替 docker network creat.
DockerCompose部署系列：构建ELK并同步MySQL数据
CancerKing的博客
12-03 352
DockerCompose部署系列：构建ELK并同步MySQL数据
Docker搭建ELK,并将MySql数据同步到ES中
Dai的博客
06-12 915
创建Docker自定义网络 # 查看一下 docker network 用法 [root@daigd dgd]# docker network --help Usage: docker network COMMAND Manage networks Commands: connect Connect a container to a network create Create a network disconnect Disconnect a container from
docker安装的ELK使用logstash同步mysql数据
weixin_45739950的博客
08-31 536
一、准备好数据库 1.创建好一张表，添加一些测试数据 2.准备mysql-connector 下载地址为https://dev.mysql.com/downloads/connector/j/下载后解压可以得到connector的jar包 。 我把它放在了"/usr/share/logstash/lib/mysql-connector-java-8.0.11.jar"这个目录下。 二、新建mysql与es交互的配置文件 进入docker logstash容器内 doc...
docker使用Canal实现ClickHouse实时同步MySQL数据
05-09
docker使用Canal实现ClickHouse实时同步MySQL数据
详解使用Docker部署MySQL（数据持久化）
01-20
本文简述如何使用Docker部署mysql,同时持久化数据.我们会用到tutum-docker-mysql 这个项目来搭建一个mysql,省去重头写Dockerfile的时间. 首先我们将tutum-docker-mysql跑起来. docker run -d -p 3306:3306 --name ...
Docker版的MySQL5.7升级到MySQL8.0.13，数据迁移
09-09
主要介绍了Docker版的MySQL5.7升级到MySQL8.0.13，数据迁移,本文通过实例代码给大家介绍的非常详细，具有一定的参考借鉴价值，需要的朋友可以参考下
详解用Docker搭建外部可以访问的mysql
09-09
主要介绍了详解用Docker搭建外部可以访问的mysql，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面随着小编来一起学习学习吧
关于linux使用docker部署ELK带安全认证并配置logstash同步mysql到ES
mzm4399的博客
06-10 624
在linux中通过docker部署elk设置安全认证，并通过logstash对mysql增量数据同步到es
使用docker安装部署ELK，完成mysql同步数据es（详细步骤）
qinghuidu的博客
07-30 1010
使用docker安装部署ELK（简单版） 第一次安装使用elk，做个记录，本地windows版部署使用已跑通，现在就试了下linux的，选用docker进行部署，主要原因是使用安装包部署过于麻烦，docker部署简洁，用的版本是6.8.1。 windows版elasticsearch+logstash参考： https://blog.csdn.net/qq_15199097/article/details/91819540 https://blog.csdn.net/wz...
【ELK7.6.0】docker es单节点环境搭建及logstash同步mysql数据至ElasticSearch
web15185420056的博客
03-29 1729
单节点ES 1 安装elasticsearch 1.1 测试elasticsearch docker run -d --name elasticsearch -p 9200:9200 -p 9300:9300 -e "discovery.type=single-node" elasticsearch:7.6.0 1.3 创建目录 mkdir -p /web/es/config/ mkdir -p /web/es/data/ 1.3 拷贝文件 docker cp elasticsearch:/usr/sha
Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像
半只
07-03 517
Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像Docker 常见容器 第三方镜像地址 Docker国内镜像 docker国内镜像 docker镜像
linux，docker，k8s常见命令
最新发布
buaixuexideshuge的博客
07-07 430
命令
09 docker 安装tomcat 详解
qq_62311779的博客
07-03 972
安装tomcat 1. tomcat镜像的获取 2. docker创建容器实列 3. 访问测试 404错误 4. 解决方案 5. 使用免修改版容器镜像 5.1. 运行实列的创建 5.2. 出现问题及解决： 6. 验证 OK tomcat镜像的获取 docker search tomcat #docker hub搜索镜像 docker pull tomcat #拉取镜像 docker images #查看是否拉取成功.........................
在Linux系统中使用阿里云镜像源安装和配置Docker的详细教程
Hellc007的博客
07-03 292
start：立即启动 Docker 服务。enable：配置 Docker 服务在系统启动时自动启动。通过这些步骤，你应该能够在 CentOS 上使用阿里云的镜像源成功安装 Docker。如果在执行过程中遇到问题，请提供具体的错误信息，我会进一步帮助你解决。
Python项目写一个dockerfile 怎么写一个deploy.sh文件来自动化部署
琳琳的博客
07-06 268
2. **deploy.sh**：将上述`deploy.sh`保存为项目根目录中的`deploy.sh`，并为其添加执行权限（使用`chmod +x deploy.sh`）。当为Python项目编写`Dockerfile`和`xx.sh`（我们通常会使用如`deploy.sh`这样的名字）脚本以进行自动化部署时，你可以遵循以下步骤和示例。3. **构建和部署**：在包含`Dockerfile`和`deploy.sh`的目录中运行`./deploy.sh`来构建和部署你的Python项目。
使用docker 搭建wordpress mysql完整的访问站点
03-29
以下是使用docker搭建wordpress和mysql完整访问站点的步骤： 1. 安装docker和docker-compose 2. 创建一个目录用于存放wordpress和mysql的配置文件和数据 3. 在该目录下创建一个docker-compose.yml文件，内容如下： ``` version: '3.3' services: db: image: mysql:5.7 volumes: - ./mysql:/var/lib/mysql restart: always environment: MYSQL_ROOT_PASSWORD: your_mysql_password MYSQL_DATABASE: your_mysql_database_name MYSQL_USER: your_mysql_user MYSQL_PASSWORD: your_mysql_user_password wordpress: depends_on: - db image: wordpress:latest volumes: - ./wp-content:/var/www/html/wp-content ports: - "8000:80" restart: always environment: WORDPRESS_DB_HOST: db:3306 WORDPRESS_DB_USER: your_mysql_user WORDPRESS_DB_PASSWORD: your_mysql_user_password WORDPRESS_DB_NAME: your_mysql_database_name ``` 4. 替换上述文件中的your_mysql_password、your_mysql_database_name、your_mysql_user和your_mysql_user_password为你自己的mysql配置信息 5. 在该目录下运行docker-compose up命令，等待容器启动完成 6. 访问http://localhost:8000，即可访问wordpress站点 7. 如果需要通过域名访问站点，可以在本地hosts文件中添加一行：127.0.0.1 your_domain_name，然后在浏览器中访问http://your_domain_name:8000 以上就是使用docker搭建wordpress和mysql完整访问站点的步骤。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值