windowsDocker下用Logstash的logstash-input-jdbc插件实现mongodb与elasticsearch的同步

 1.docker环境下 下载logstash

docker pull logstash:7.5.2

(logstash版本要和elasticsearch和kibana版本一致)

 2.下载logstash-input-jdbc插件。拉取:先进入logstash的docker容器,在logstash容器中进行

/usr/share/logstash/bin/logstash-plugin install  logstash-input-jdbc

 3.编写配置文件:在容器中进入/usr/share/logstash/config下编写filesdb.conf(xxxx.conf)文件内容参考:https://blog.csdn.net/weixin_38722500/article/details/107635835?utm_medium=distribute.pc_relevant.none-task-blog-2~default~baidujs_title~default-0.pc_relevant_baidujshouduan&spm=1001.2101.3001.4242

我的filesdb.conf如下:

我的/usr/share/logstash/config目录下的logstash.yml如下:

 4.启动 进入bin目录下,执行命令:

logstash -f filesdb.conf

 报错:

 原因:data 路径问题

解决办法:指定路径,最好输入绝对路径 (为了避免和data冲突我在该目录下建了一个新的dataa)

 logstash -f filesdb.conf --path.data=/usr/share/logstash/dataa

该问题解决,

又报错路径下找不到文件 原因:bin目录下没有filesdb.conf文件,将上面写在config目录里的filesdb.conf复制过来即可

重新执行上述命令:

依旧报错:

然后发现可能是插件下载的问题,又在bin目录下安装了 logstash-input-mongodb

./logstash-plugin install logstash-input-mongodb

 由于是国外的镜像,所以可能安装失败,多试试就可以了

 安装成功后继续执行命令,这次换了logstash.conf文件,之前的filedb.conf是针对于插件logstash-input-jdbc写的配置文件,

 logstash -f logstah.conf --path.data=/usr/share/logstash/dataa

报错如下: 

 

 然后解决第一个

bin/logstash-plugin 安装 logstash-filter-elapsed 

 

还是没有成功。。。。。。。。。。

未完。

Docker Compose是一个用于定义和管理多个Docker容器的工具。下面是关于如何使用Docker Compose安装MySQL、Redis、MongoDB、Zookeeper、Kafka、ElasticsearchLogstash和Kibana的简要说明。 首先,需要在机器上安装DockerDocker Compose。可以从Docker官方网站下载并按照说明进行安装。 MySQL:创建一个名为docker-compose.yml的文件并输入以下内容: ``` version: '3.1' services: mysql: image: mysql:latest restart: always environment: MYSQL_ROOT_PASSWORD: root ports: - 3306:3306 ``` 然后,在终端中导航到该文件所在的目录,并运行以下命令: ``` $ docker-compose up -d ``` Redis:创建一个名为docker-compose.yml的文件并输入以下内容: ``` version: '3.1' services: redis: image: redis:latest restart: always ports: - 6379:6379 ``` 然后,在终端中导航到该文件所在的目录,并运行以下命令: ``` $ docker-compose up -d ``` MongoDB:创建一个名为docker-compose.yml的文件并输入以下内容: ``` version: '3.1' services: mongo: image: mongo:latest restart: always ports: - 27017:27017 ``` 然后,在终端中导航到该文件所在的目录,并运行以下命令: ``` $ docker-compose up -d ``` Zookeeper、Kafka、ElasticsearchLogstash和Kibana:可以通过使用Docker Compose来配置和运行这些服务。需要为每个服务创建一个独立的配置文件,并在docker-compose.yml中引用这些配置文件。具体配置内容可以参考各自官方文档。 在终端中导航到docker-compose.yml文件所在的目录,并运行以下命令: ``` $ docker-compose up -d ``` 以上是使用Docker Compose来安装MySQL、Redis、MongoDB、Zookeeper、Kafka、ElasticsearchLogstash和Kibana的简要说明。根据每个服务的具体要求,可能需要进一步的配置和设置。请参考各自的官方文档以获取更详细的说明。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值