- 博客(13)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 数据同步之采用时间戳的方法进行增量数据同步（三）
文主要讨论，采用时间戳的方法进行增量抽取时，造成源表和目标表数据不一致的情况的原因进行讨论。再浏览此文时，请大家先阅读数据抽取之采用时间戳的方法进行增量抽取（一）、数据抽取之采用时间戳的方法进行增量抽取（二）这两篇文章。在探讨这个问题时，本文还是继续引用前面的文章的例子。一、抽取情况说明将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表...
2019-12-25 12:10:44
3252
原创 数据同步之采用时间戳的方法进行增量数据同步（二）
本文主要介绍源表为多表关联时，数据增量抽取的情况。一、抽取情况说明将源数据库S中的A表（将此表称为源表A）以及B表（将此表称为源表B）进行关联，通过ETL工具抽取至目标数据库T的C表（将此表称为目标表C）。表结构如下图所示：采用用增量时间戳的方式进行增量抽取，需要目标数据库T中建立一张抽取日志表LOG，来记录每次抽取的情况。表结构如下图所示：其中，BM字段保存的是源表的表名（字段值为...
2019-12-20 16:30:08
2170
原创 数据同步之采用时间戳的方法进行增量数据同步（一）
本文主要介绍源表为单表时，数据增量抽取的情况。当源表为多表时，后面的文章会继续介绍。一、抽取情况说明将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表A的表结构与目标表A的表结构完全一致。表结构如下图所示：采用用增量时间戳的方式进行增量抽取，需要目标数据库T中建立一张抽取日志表LOG，来记录每次抽取的情况。表结构如下图所示：其...
2019-12-20 11:02:27
5967
原创 数据同步之全量数据同步（二）
本文主要介绍源表为单表时，数据全量抽取的情况。当源表为多表时，跟单表的情况差不多。一、抽取情况说明将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表A的表结构与目标表A的表结构完全一致。表结构如下图所示：二、抽取过程1、单次抽取流程图，如下图所示：1)、查询源表A中所有数据记录。即在源数据库S下执行下面语句：select * ...
2019-12-20 10:57:35
1132
原创 数据同步之全量数据同步（一）
本文主要介绍源表为单表时，数据全量的情况。当源表为多表时，跟单表的情况差不多。一、抽取情况说明将源数据库S中的A表（将此表称为源表），通过ETL工具抽取至目标数据库T的A表（将此表称为目标表）。假设源表A的表结构与目标表A的表结构完全一致。表结构如下图所示：二、抽取过程1、单次抽取流程图，如下图所示：1)、删除目标表A中的所有数据记录。即在目标数据库T下执行下面语句：truncate ...
2019-12-20 10:52:11
3527
原创 根据树形（父子层级关系）的数据，使用JS动态生成表头。
一、表结构（ORACLE）：二、表数据1、统计报表（TJBB），存储报表的基本信息。2、统计报表明细（TJBBMX），存储报表的指标信息。注意：TJLX字段为3位数字（0或1）组成。每位数字分别代表：今年，去年，同比。若为1，则显示该列。若为0，则不显示该列。即如果此列的值为：111，则此列需要显示：今年、去年、同比。如果此列的值为：101，则此列需要显示：今年、同比。（可结合下图，...
2019-12-18 13:44:12
1053
原创 根据树形（父子层级关系）的数据，使用JAVA语言动态生成表头。
一、表结构（ORACLE）：二、表数据1、统计报表（TJBB），存储报表的基本信息。2、统计报表明细（TJBBMX），存储报表的指标信息。注意：TJLX字段为3位数字（0或1）组成。每位数字分别代表：今年，去年，同比。若为1，则显示该列。若为0，则不显示该列。即如果此列的值为：111，则此列需要显示：今年、去年、同比。如果此列的值为：101，则此列需要显示：今年、同比。（可结合下图，...
2019-12-17 16:04:15
1111
原创 oracle group by函数结合connect by 函数，使得echarts图表中x轴统计日期数据连贯展示。
1.使用group by函数进行统计的时候经常出现统计日期（这里统计到年月月）不连贯的情况，如下图所示：3.将上图的中的统计记录，用echart图表展示。1)对应echarts相关代码：2)echart折现图显示：从图中可以看出，缺少201802的统计数据。统计日期不连贯。下面介绍如何使用connect by结合group by函数，实现统计日期连贯。1.先了解下connect ...
2019-12-05 17:16:44
930
原创 Hadoop+Zookeeper+Hbase 集群搭建（五）
四、 启动集群(一) 启动顺序zookeeper—>hadoop—>hbase五、 集群操作(一) hadoop监控Hdfs 管理情况A. master1主机1)访问地址http://master1:50070/2)页面内容B. slave1主机1)访问地址http://slave1:50070/页面内容MapReduce管理情况A. sla...
2019-12-05 13:58:13
476
原创 Hadoop+Zookeeper+Hbase 集群搭建（四）
(四) hbase安装及其命令安装A. 登录master1主机1)解压输入命令：2)修改配置文件输入命令：需要修改的配置文件有：hbase-site.xml、hdfs-site.xml、core-site.xml、backup-masters、regionservers、hbase-env.sh修改hbase-site.xml文件输入命令：修改内容：修改hdfs-s...
2019-12-05 13:49:20
184
原创 Hadoop+Zookeeper+Hbase 集群搭建（三）
(三) hadoop安装及其命令安装A. 登录master1主机1)解压输入命令：2)修改配置文件输入命令：需要修改的文件有：core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml、hadoop-env.sh、yarn-env.sh、masters、slaves修改core-site.xml文件输入命令：修改...
2019-12-05 13:19:54
333
原创 Hadoop+Zookeeper+Hbase 集群搭建（二）
三、 集群环境搭建过程(一) jdk安装及其命令安装A. 登录master1主机1)解压输入命令：2)修改环境变量输入命令：修改内容：3)环境变量配置生效输入命令：B. 登录slave1主机1)解压输入命令：2)修改环境变量输入命令：修改内容：3)环境变量配置生效输入命令：C. 登录slave2主机1)解压输入命令：2)修改环境变...
2019-12-05 13:02:08
176
原创 Hadoop+Zookeeper+Hbase 集群搭建（一）
一、 安装程序版本安装程序版本号JDKjdk1.8.0_111Zookeeper(ZK)zookeeper-3.4.9hadoophadoop-2.7.3Hbasehbase-1.2.4二、 集群环境(一) 集群环境系统说明主机IP主机名操作系统192.168.1.241master1Center OS 71...
2019-12-05 11:34:44
332
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人