![](https://img-blog.csdnimg.cn/20201014180756919.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Docker
文章平均质量分 83
黄豆籽的大窝
网络工程专业毕业的程序猿一枚
展开
-
MySQL与ES数据同步的四种方案及实践演示
针对多数据源写入的场景,可以借助MQ实现异步的多源写入,这种情况下各个源的写入逻辑互不干扰,不会由于单个数据源写入异常或缓慢影响其他数据源的写入,虽然整体写入的吞吐量增大了,但是由于MQ消费是异步消费,所以不适合实时业务场景。不易出现数据丢失问题,主要基于MQ消息的消费保障机制,比如ES宕机或者写入失败,还能重新消费MQ消息。针对这种情况,有数据强一致性要求的,就必须双写放到事务中来处理,而一旦用上事物,则性能下降更加明显。可能出现延时问题:MQ是异步消费模型,用户写入的数据不一定可以马上看到,造成延时。原创 2023-09-12 17:44:09 · 4150 阅读 · 2 评论 -
MySQL与ES数据同步之异步调用
此处Controller充当生产者,接到请求,先执行mysql操作,然后将消息按情况通过交换机转发到不同的队列,相应的消费者收到消息后对ES进行处理。上一篇是同步调用,我们在中间加上MQ就可以实现异步调用,这种方式性能高,不易出现数据丢失问题,多源写入之间相互隔离,便于扩展更多的数据源写入。下面通过SpringBoot项目演示一下,首先本地要有MQ,我这里使用RabbitMQ。同时也会带来一些问题,首先还是代码侵入强,其次系统复杂度会增加,因为引入了消息中间件。这种方案也不是很推荐,简单了解学习一下就好。原创 2023-09-12 17:28:11 · 816 阅读 · 0 评论 -
SpringBoot整合Canal实现MySQL与ES数据同步
开始之前请确认docker中已运行mysql与canal容器,并完成了监听binlog配置。原创 2023-09-12 15:29:54 · 1870 阅读 · 2 评论 -
Docker部署Canal监听MySQL binlog
canal的工作原理就是把自己伪装成MySQL slave,模拟MySQL slave的交互协议向MySQL Mater发送 dump协议,MySQL mater收到canal发送过来的dump请求,开始推送binary log给canal,然后canal解析binary log,再发送到存储目的地。第一页长这样,这里我们就修改一下框中的部分,第一个是我们在mysql配置文件中设置的slaveId,下面的是数据库地址,IP:端口号。下面的是需要监听的库表,图中就是默认状态,监听全部,可根据实际需求改。原创 2023-09-12 15:10:35 · 895 阅读 · 0 评论 -
Docker拉取RocketMQ及可视化界面
本文介绍Docker拉取RocketMQ及可视化界面操作步骤。原创 2023-08-28 11:33:20 · 1278 阅读 · 0 评论 -
Prometheus+Grafana+AlertManager监控SpringBoot项目并发送邮件告警通知
进入Prometheus的Alerts页面,可以看到有告警信息,提示所监控机器不可用,状态已经为Firing,这表示已经将告警发送至Alertmanager。开启后获得授权码,填到alertmanager配置文件相应位置中,并补全其他必要信息,重启alertmanager服务。Prometheus配置文件中已添加该项目地址,运行后到Prometheus页面中查看连接情况。注意:此处IP地址为Prometheus在Docker容器内部的IP地址。选择之前设置的Prometheus作为数据源即可。原创 2023-08-23 11:17:42 · 1277 阅读 · 0 评论 -
Prometheus+Grafana+AlertManager监控Linux主机状态
点击Add your first data source选择PrometheusPrometheus server URL中输入IP地址及端口号注意:此处IP地址为Prometheus在Docker容器内部的IP地址退出:Ctrl+D点击底部Save&Test。原创 2023-08-23 11:07:31 · 1288 阅读 · 0 评论 -
Docker安装并配置Pushgateway
Pushgateway是Prometheus的一个组件,prometheus server默认是通过Exporter主动获取数据(默认采取pull拉取数据),Pushgateway则是通过exporter主动方式推送数据到Pushgateway,再由Prometheus主动去拉取 Pushgateway数据,用户可以写一些自定义的监控脚本把需要监控的数据发送给Pushgateway。原创 2023-08-23 10:33:09 · 1163 阅读 · 0 评论 -
Docker安装并运行Alertmanager
Alertmanager是一个独立的告警模块,接收Prometheus等客户端发来的警报,之后通过分组、删除重复等处理,并将它们通过路由发送给正确的接收器;告警方式可以按照不同的规则发送给不同的模块负责人,Alertmanager支持Email, Slack,等告警方式, 也可以通过webhook接入钉钉等国内IM工具。原创 2023-08-23 10:28:51 · 784 阅读 · 0 评论 -
Docker安装并配置cAdvisor
cAdvisor 是 Google 开源的一款用于展示和分析容器运行状态的可视化工具。通过在主机上运行 CAdvisor 用户可以轻松的获取到当前主机上容器的运行统计信息,并以图表的形式向用户展示。cAdvisor 可以对节点机器上的资源及容器进行实时监控和性能数据采集,包括 CPU 使用情况、内存使用情况、网络吞吐量及文件系统使用情况。原创 2023-08-23 10:14:34 · 519 阅读 · 0 评论 -
Docker安装并配置Node-Exporter
Exporter是Prometheus的指标数据收集组件。它负责从目标Jobs收集数据,并把收集到的数据转换为Prometheus支持的时序数据格式。和传统的指标数据收集组件不同的是,他只负责收集,并不向Server端发送数据,而是等待Prometheus Server 主动抓取。原创 2023-08-23 10:11:21 · 1148 阅读 · 0 评论 -
Docker拉取并配置Grafana
opt/grafana/config目录,准备用来挂载放置grafana的配置文件。环境变量GF_SECURITY_ADMIN_PASSWORD:指定admin的密码。grafana-simple-json-datasource代表json数据源插件。/opt/grafana/plugins目录,准备用来放置grafana的插件。/opt/grafana/data目录,准备用来挂载放置grafana的数据。环境变量GF_INSTALL_PLUGINS:指定启动时需要安装得插件。原创 2023-08-23 10:03:58 · 1799 阅读 · 0 评论 -
Docker搭建并配置Prometheus
rule_files:告警规则。按照设定参数进行扫描加载,用于自定义报警规则,其报警媒介和route路由由alertmanager插件实现。/opt/prometheus/rules目录,准备用来挂载放置prometheus的规则文件。/opt/prometheus/config目录,准备用来放置prometheus的配置文件。/opt/prometheus/data目录,准备用来挂载放置prometheus的数据。看到Prometheus的状态为UP,证明正在运行,端口9090,接下来可以到浏览器访问。原创 2023-08-23 09:54:48 · 1189 阅读 · 1 评论 -
Linux安装Docker
看到这些信息,代表测试镜像拉取运行成功,Docker完成。Linux内核版本高于3.1。能看到版本号代表安装成功。原创 2023-08-23 09:39:18 · 1267 阅读 · 1 评论