架构
j_ys
个人邮箱:jys_bd_developer@aliyun.com
展开
-
大数据-datax安装步骤与使用
1.datax概述: DataX 是一个异构数据源离线同步工具,致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 为了解决异构数据源同步问题,DataX将复杂的网状的同步链路变成了星型数据链路,DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候,只需要将此数据源对接到DataX,便能跟已有的数据源做到无缝数据同步。 2.datax框架设计 DataX本身..原创 2020-10-13 15:43:12 · 3035 阅读 · 0 评论 -
高可用架构-云产品负载均衡与vip的漂移
1. 使用场景 一般情况下在云上部署产品(集群级别)需要满足HA(高可用),实现高可用场景有两种方式,一种是web服务推荐使用云产品负载均衡来实现,一种是架构组件(比如mysql、redis实现高可用)推荐使用vip漂移的方式来实现。 2. 云产品负载均衡 应用负载均衡 应用负载均衡可将大并发流量分发到多台后端实例,调整资源利用情况,消除由于单台设备故障对系统的影响,提高系...原创 2019-05-07 13:42:37 · 874 阅读 · 0 评论