ArchitecturalDesign
文章平均质量分 92
大数据相关的架构设计
蒋含竹
非淡泊无以明志,非宁静无以致远。
展开
-
分布式缓存一致性(Redis、MySQL)
文章目录分布式——缓存一致性(Redis、MySQL)1. 前言2. 常见方案的问题点2.1 先更新数据库,再更新缓存2.2 先删除缓存,再更新数据库2.3 先更新数据库,再删除缓存3. 维护一致性3.1 设置缓存过期时间3.2 利用消息队列来异步处理3.2 利用Canal监控MySQL,来做异步处理4. 维护一致性——拓展思考4.1 思考4.2 分布式架构4.3 分布式架构(优化)分布式——缓存一致性(Redis、MySQL)1. 前言分布式一致性的问题,既是指“如何保证分布式多个节点的数据一样、原创 2020-07-20 01:14:05 · 2245 阅读 · 1 评论 -
基于阿里云的数据仓库架构设计
文章目录基于阿里云的数据仓库架构(未完)产品对比离线数仓实时数仓基于阿里云的数据仓库架构(未完)产品对比阿里云产品同类产品简介RDSMySQL、PostgreSQL关系型数据库服务,是阿里提供的云数据库,有各种版本,例如MySQL版、PostgreSQL版、SQLServer版等DTSCanal、DataX、Sqoop、Flume数据传输服务,功能丰富,包........................原创 2020-03-27 14:16:18 · 6546 阅读 · 8 评论 -
Spark优化总结(四)——业务与架构设计
文章目录Spark优化总结(四)——业务与架构设计1. 前言2. 需求:实时订阅监控系统3. 数据采集、缓冲层、实时计算层的选择3.1 数据采集3.2 缓冲层3.3 实时计算层3.4 目前的架构图4. 怎样将订阅消息推送到实时计算集群?4.1 分析4.2 为所有的用户名设计一个Topic?4.3 将订阅消息存到数据库?4.4 在计算节点开启Socket连接,Web服务发送订阅消息过来?4.5 使用.........原创 2020-01-07 23:13:15 · 1671 阅读 · 0 评论