2018年08月_中间件小哥

原创干货：数据库分库分表基础和实践

数据库架构的演变在业务数据量比较少的时代，我们使用单机数据库就能满足业务使用，随着业务请求量越来越多，数据库中的数据量快速增加，这时单机数据库已经不能满足业务的性能要求，数据库主从复制架构随之应运而生。主从复制是将数据库写操作和读操作进行分离，使用多个只读实例（slaver replication）负责处理读请求，主实例（master）负责处理写请求，只读实例通过复制主实例的数据来保...

2018-08-31 15:14:33 1028

原创 5分钟Serverless实践 | 构建无服务器的敏感词过滤后端系统

前言在上一篇“5分钟Serverless实践”系列文章中，我们介绍了什么是Serverless，以及如何构建一个无服务器的图片鉴黄Web应用，本文将延续这个话题，以敏感词过滤为例，介绍如何构建一个无服务器API，即无服务器的后端系统。函数工作流函数工作流（FunctionGraph，FGS）是一项基于事件驱动的函数托管计算服务，托管函数具备以毫秒级弹性伸缩、免运维、高可靠的方式运...

2018-08-22 09:46:18 360

原创 Redis缓存数据库安全加固指导（一）

背景在众多开源缓存技术中，Redis无疑是目前功能最为强大，应用最多的缓存技术之一，参考2018年国外数据库技术权威网站DB-Engines关于key-value数据库流行度排名，Redis暂列第一位，但是原生Redis版本在安全方面非常薄弱，很多地方不满足安全要求，如果暴露在公网上，极易受到恶意攻击，导致数据泄露和丢失。本文主要是在原生开源软件Redis3.0基础上，系统的在安全特性方面...

2018-08-21 15:22:42 618

原创【干货】Kafka 事务特性分析

特性背景消息事务是指一系列的生产、消费操作可以要么都完成，要么都失败，类似数据库的事务。这个特性在0.10.2的版本是不支持的，从0.11版本开始才支持。华为云DMS率先提供Kafka 1.1.0的专享版服务，支持消息事务特性。支持事务消息有什么作用？消息事务是实现分布式事务的一种方案，可以确保分布式场景下的数据最终一致性。例如最常用的转账场景，小王转账到小明，实际操作...

2018-08-14 20:01:06 2115

原创 Kafka无法消费！？究竟是bug的“沦陷”还是配置的“扭曲”？

在一个月黑风高的夜晚，突然收到现网生产环境Kafka消息积压的告警，梦中惊醒啊，马上起来排查日志。问题现象消费请求卡死在查找Coordinator Coordinator为何物？Coordinator用于管理Consumer Group中各个成员，负责消费offset位移管理和Consumer Rebalance。Consumer在消费时必须先确认Consumer Group...

2018-08-14 19:54:43 5674 1

原创 5分钟Serverless实践 | 构建无服务器图片鉴黄Web应用

Serverless是什么Serverless中文译为“无服务器”，最早可以追溯到2012年Ken Fromm发表的《Why The Future Of Software And Apps Is Serverless》，他描述了一种场景，从用户自己维护的物理机，到IaaS，再到PaaS，计算模式的转变并不会停止，在云计算基础设施成熟的情况下应用程序可以不需要考虑服务器的存在，无服务器计算让开发...

2018-08-13 20:17:09 1027 1

原创 MySQL-JDBC Loadbalance深入解析

背景说明公司的整个电商系统搭建在华为云上，根据老总的估计，上线3个月之后日订单量会达到百万级别，保守估计3个月之后总订单个数预计会有5千万。MySQL单表达到千万级别，就会出现明显的性能问题。根据如此规模的数据，当时考虑了2套解决方案：方案一：在业务上根据用户ID做拆分，将数据打散放在5台32U128G的华为云RDS上边方案二：直接使用华为云的分布式数据库中间件DDM 方案一的...

2018-08-08 18:15:02 2942 1

原创详解如何实现在线聊天系统中的实时消息获取

序言传统web浏览器应用采用客户端主动请求方式，只有在收到浏览器请求时服务端才返回消息，这种模式已经不能满足日益多样化的web应用需求，例如：在线聊天系统：需要实时获取聊天消息。实时监控系统：需要实时获取监控对象状态。如仪表读数、告警信息等。随着html技术演进，发展出了多种服务器推送技术，用于服务器向浏览器客户端推送消息。 Ajax轮询采用Ajax定时向服务端发送请求...

2018-08-08 16:48:18 3467

原创一个MySQL-JDBC驱动bug引起的血案……

问题背景公司是做电商系统的，整个系统搭建在华为云上。系统设计的时候，考虑到后续的用户和订单数量比较大，需要使用一些大数据库的组件。关系型数据库这块，考虑到后续数据量的快速增长，不是直接写入MySQL，而是使用了华为云的分布式数据库中间件DDM。使用了DDM之后，可以在业务不感知的情况下，直接增加MySQL读实例的个数，线性提升读性能。也支持中间件层面的分库分表，提供海量关系型数据库的操作。简直...

2018-08-02 15:19:47 214

middleware2018的博客