数据处理篇
文章平均质量分 92
数据库、海量数据、实时数据
字节跳动
这个作者很懒,什么都没留下…
展开
-
Flink接入体系
Flink接入体系Flink ConnertorsJDBC(读/写)pom <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-connector-jdbc_2.11</artifactId> <version>1.11.2</version>原创 2020-12-08 09:25:48 · 292 阅读 · 0 评论 -
Sharding-JDBC一些配置详解4.x
快速入门说明:单库商品表水平分片,分片规则%2#端口号server.port=56000#实例名称spring.application.name= sharding_quick#表示后发现的bean会覆盖之前相同名称的beanspring.main.allow-bean-definition-overriding=true#该配置项就是指将带有下划线的表字段映射为驼峰格式的实体类属性mybatis.configuration.map-underscore-to-camel-case=tru原创 2020-11-30 09:52:49 · 1714 阅读 · 0 评论 -
分库分表中间件
分库分表的中间件很多,但是可以归结为两大类型:CLIENT模式PROXY模式1、CLIENT模式:代表有阿里的TDDL,开源社区的sharding-jdbc(sharding-jdbc的3.x版本即sharding-sphere已经支持了proxy模式)。架构如下:2、PROXY模式:代表有阿里的cobar,民间组织的MyCAT。架构如下:3、比对从以上两种模式可以看出sharding-jdbc作为一个组件集成在应用内,而mycat则作为一个独立的应用需要单独部署。但是,无论是原创 2020-11-26 09:01:19 · 5230 阅读 · 0 评论 -
平滑扩容方案
双写方案可通过canal或mq做实现。增加新库数据迁移:避免增量影响, 先断开主从,再导入(耗时较长), 同步完成并做校验增量同步:监听Canal,并开启主从同步切换新库修复切换异常数据(canal未同步但已切换至新库的请求), 通过定制程序读取异常日志做处理...原创 2020-11-24 09:11:37 · 614 阅读 · 2 评论 -
MySQL体系架构及引擎
MySQL体系架构整个MySQL Server由以下组成Connection Pool : 连接池组件Management Services & Utilities : 管理服务和工具组件SQL Interface : SQL接口组件Parser : 查询分析器组件Optimizer : 优化器组件Caches & Buffers : 缓冲池组件Pluggable Storage Engines : 存储引擎File System : 文件系统连接层最上层是一些原创 2020-11-23 09:24:17 · 80 阅读 · 0 评论 -
数据库体系架构mysql
数据库体系架构可用性设计A、单点在最原始的架构中,是单一数据库,一旦数据库宕机之后,整个服务都不可用,不存在高可用。B. 主从复制解决高可用的思路,就是冗余、复制;在这种主从的架构中,即使Master节点挂掉,还有Slave节点,整个数据库的数据依赖存在,但是在这种架构中,无法保证读、写的高可用,而且会存在一致性问题。C. "读"高可用为保证读的高可用,可以对读(从)库进行冗余,但是冗余读库,也会存在副作用: 读写有延时,可能存在不一致。在上图中确实是保证了"读"高可用,但是写节点依原创 2020-11-19 17:11:54 · 339 阅读 · 1 评论 -
mysql集群双主双从+Mycat读写分离
数据库集群架构订单数据特点:写并发量大于读并发量如何提高我们写数据的能力,给用户良好的用户体验,就是我们需要研究的目标!设计方向:1、多个节点进行数据写入2、进行读写分离操作,提高单节点写数据的并发能力3、要保证每一个写入节点的高可用,当主节点出现问题以后,从节点立马升级为主节点基于以上几点的设计思路,我们所设计出来的订单数据库的架构如下所示:MySql 主从复制主从复制简介就是有两个数据库服务器,一个是主(master)数据库服务器,另一个是从(slave)数据库服务器。当主(mas原创 2020-11-15 22:54:04 · 435 阅读 · 0 评论