2019年01月_lby0307

04月 03月 02月 01月

转载 Nginx 通过 Lua + Redis 实现动态封禁 IP

一、背景为了封禁某些爬虫或者恶意用户对服务器的请求，我们需要建立一个动态的 IP 黑名单。对于黑名单之内的 IP ，拒绝提供服务。二、架构实现 IP 黑名单的功能有很多途径： 1、在操作系统层面，配置 iptables，拒绝指定 IP 的网络请求； 2、在 Web Server 层面，通过 Nginx 自身的 deny 选项或者 lua 插件配置 IP 黑名单； 3、在应用层...

2019-01-31 11:11:01 297

转载 MySQL高可用架构之MHA

一、MHA简介 MHA（Master High Availability）目前在MySQL高可用方面是一个相对成熟的解决方案，它由日本DeNA公司的youshimaton（现就职于Facebook公司）开发，是一套优秀的作为MySQL高可用性环境下故障切换和主从提升的高可用软件。在MySQL故障切换过程中，MHA能做到在0~30秒之内自动完成数据库的故障切换操作，并且在进行故障切换...

2019-01-31 11:04:18 320

转载 Filebeat+Kafka+Logstash+ElasticSearch+Kibana搭建完整版

1. 了解各个组件的作用 Filebeat是一个日志文件托运工具，在你的服务器上安装客户端后，filebeat会监控日志目录或者指定的日志文件，追踪读取这些文件（追踪文件的变化，不停的读） Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者规模的网站中的所有动作流数据 Logstash是一根具备实时数据传输能力的管道，负责将数据信息从管道的输入端传输到管道的输出端；与此同时这根管...

2019-01-31 10:47:08 1832 1

原创 RabbitMQ事务和Confirm发送方消息确认

正常情况下，如果消息经过交换器进入队列就可以完成消息的持久化，但如果消息在没有到达broker之前出现意外，那就造成消息丢失，有没有办法可以解决这个问题？ RabbitMQ有两种方式来解决这个问题：通过AMQP提供的事务机制实现；使用发送者确认模式实现；一、事务使用事务的实现主要是对信道（Channel）的设置，主要的方法有三个： channel.txSelect()声明启动...

2019-01-13 19:24:46 326

原创 mongodb查询内嵌文档

mongodb查询内嵌文档假设有这样一个文档： db.XXX.remove(); db.XXX.insert({"id":1, "members":[{"name":"BuleRiver1", "age":27, "gender":"M"}, {"name":"BuleRiver2", "age":23

2019-01-13 11:35:03 627

原创 MQ消息最终一致性事务

本文我们将学习到一种常见的柔性事务解决方案：消息一致性事务方案。对于TCC型事务，跨系统的调用均是基于服务间的直接调用，即很大程度上是同步调用。基于TCC方案能够保证主子事务同时成功，同时失败。但实际开发中，由于多方面的考虑，我们会将服务拆分为异步方式，一般是基于MQ进行服务间的解耦，服务发起方执行完本地业务操作后发送一条消息给到消息中间件（比如：RocketMQ、RabbitMQ、Kaf...

2019-01-12 10:54:27 2425