张不帅

见码云https://gitee.com/zhang_bushuai/flink_realtime_warehouse

文章目录数据库中配置流表jdbc工具类枚举类CodeEnumFlowStatusEnumHBaseStorageModeEnum配置类bean对象flink状态类编程MD5加密Hbase sink 模板数据库中配置流表CREATE TABLE `dbus_flow` ( `flowId` int(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID', `...

文章目录思路代码实现思路对于mysql中的数据,可以考虑分批次进行同步处理,在sqoop的源码中也有这样的实现原理,达到更高效率,实现的方式很简单,先从mysql中读取最大值和最小值,对于批次数由用户自己指定,耦合出代码外.在抽取数据的sql模块中,动态拼接between xxx and xxx 中代码实现主程序package dbus.fullPull;import dbus.c...

文章目录package dbus.fullPull;import dbus.config.GlobalConfig;import org.apache.flink.api.common.functions.RichMapFunction;import org.apache.flink.api.common.typeinfo.BasicTypeInfo;import org.apache...

文章目录商品模拟数据订单模拟数据配置中心package dbus.config;import java.io.Serializable;/** * 在生产上一般通过配置中心来管理 */public class GlobalConfig implements Serializable { /** * 数据库driver class */ publ...

文章目录myql建模hbase表myql建模a、商品表CREATE TABLE test.zyd_goods ( goodsId INT(11) NOT NULL AUTO_INCREMENT COMMENT '自增ID', goodsName varchar(50) NOT NULL COMMENT '商品名称', sellingPrice DECIMAL(11,2) DEFAUL...

文章目录查看是否安装mysql[root@note02 ~]# yum list installed | grep mysqlmysql-libs.x86_64 5.1.73-3.el6_5 @anaconda-CentOS-201410241409.x86_64/6.6删除系统已经安装的mysql以及依赖[root@note02 ~]# yum -y remove my...

文章目录

文章目录mysql主备复制实现MySQL Binary LogSTATMENT模式基于行的复制(row-based replication, RBR)：混合模式复制(mixed-based replication, MBR)：mysql主备复制实现1.master将改变记录到二进制日志(binary log) 中（这些记录叫做二进制日志事件，binary log events，可以通过sho...

文章目录架构设计数据同步-解决方案mysql数据库建模HBase数据库建模架构设计数据同步-解决方案mysql数据库建模HBase数据库建模