qq_45972323的博客

实时数仓3.0DWD层DWD层设计要点：9.1 流量域未经加工的事务事实表9.1.1 主要任务9.1.2 思路9.1.3 图解9.1.4 代码9.2 流量域独立访客事务事实表9.2.1 主要任务9.2.2 思路分析9.2.3 图解9.2.4 代码9.3 流量域用户跳出事务事实表9.3.1 主要任务9.3.2 思路分析9.3.3 图解9.3.4 代码9.4 交易域加购事务事实表9.4.1 主要任务9.4.2 思路分析9.4.3 图解9.5 交易域订单预处理表9.5.1 主要任务9.5.2 思路分析9.5.3

为了提升效率，减少频繁创建销毁连接带来的性能损耗，创建连接池。常见的 K-V 类型数据库有 Redis、HBase，而 Redis 的数据常驻内存，会给内存造成较大压力，因而选用 HBase 存储维度数据。采集到 Kafka 的 topic_log 和 topic_db 主题的数据即为实时数仓的 ODS 层，这一层的作用是对数据做原样展示和备份。将 source_table 作为配置表的主键，可以通过它获取唯一的目标表名、字段、主键和建表扩展，从而得到完整的 Phoenix 建表语句。

在启动前加个 export HADOOP_CLASSPATH=

下载地址：http://repo.red-soft.biz/repos/clickhouse/stable/el7/2.1.4 CentOS 取消 SELINUX。2.1.2 CentOS 取消打开文件数限制。2.1.1 确定防火墙处于关闭状态。2.1.3 安装依赖。

1.1 安装版本不用考虑在windows环境下对Redis的支持1.2 安装步骤1.2.1准备工作：下载安装最新版的gcc编译器1）安装C 语言的编译环境。

在 HBase 中 HMaster 负责监控 HRegionServer 的生命周期，均衡 RegionServer 的负载，如果 HMaster 挂掉了，那么整个 HBase 集群将陷入不健康的状态，并且此时的工作状态并不。所以 HBase 支持对 HMaster 的高可用配置。2.1.4 HBase 的配置文件。Zookeeper 正常部署。Hadoop 正常部署。

修改conf中的 flink-conf.yaml 文件。

ADS:不落盘，不存储。实质上时接口模块，查询ClickHouse的SQL语句（SQL查ClickHouse）