大数据数仓
文章平均质量分 96
搭建大数据离线数仓、数仓项目管理、实时数仓等
不以物喜2020
大数据开发工程师一枚
展开
-
大数据技术Canal总结和详细案例
MySQL 的二进制日志,它记录了所有的 DDL 和 DML(除了数据查询语句)语句,以事件形式记录,还包含语句所执行的消耗的时间,MySQL 的二进制日志是事务安全型的。二进制有两个最重要的使用场景:① MySQL Replication 在 Master 端开启 Binlog,Master 把它的二进制日志传递给 Slaves来达到 Master-Slave 数据一致的目的。② 数据恢复,通过使用 MySQL Binlog 工具来使恢复数据。原创 2023-03-24 23:48:40 · 868 阅读 · 0 评论 -
CDH数仓项目(四) —— 集群性能测试/资源管理/清理CDH集群
CDH数仓项目,进行集群性能测试、资源备份、资源管理、清理CDH集群原创 2023-02-02 22:51:34 · 1879 阅读 · 2 评论 -
CDH数仓项目(三) —— Kerberos安全认证和Sentry权限管理
CDH数仓项目基于Kerberos安全认证和Sentry权限管理详细说明原创 2023-02-02 21:35:42 · 2576 阅读 · 4 评论 -
Doris-1.2.0安装部署详细流程
Doris是一个MPP的OLAP系统,以较低的成本提供在大数据集上的高性能分析和报表查询功能。MPP (Massively Parallel Processing),即大规模并行处理。简单来说,MPP是将任务并行的分散到多个服务器和节点上,在每个节点上计算完成后,将各自部分的结果汇总在一起得到终的结果(与Hadoop相似)。原创 2023-01-31 16:13:16 · 4125 阅读 · 0 评论 -
CDH数仓项目(二) —— 用户行为数仓和业务数仓搭建
基于CDH搭建用户行为数仓和业务数仓原创 2023-01-27 19:37:23 · 1831 阅读 · 0 评论 -
CDH数仓项目(一) —— CDH安装部署搭建详细流程
CDH数仓项目——基于CDH搭建数据仓库原创 2023-01-27 16:08:35 · 2941 阅读 · 5 评论 -
本地数仓项目(四)—— 即席查询
即席查询引擎介Druid/Impala/Presto绍分析原创 2023-01-21 15:34:18 · 2827 阅读 · 0 评论 -
本地数仓项目(三)—— 数据可视化和任务调度
数据可视化 离线业务数仓原创 2023-01-09 23:10:08 · 1080 阅读 · 1 评论 -
本地数仓项目(二)——搭建系统业务数仓详细流程
业务数仓搭建详细流程原创 2023-01-05 21:42:35 · 1677 阅读 · 8 评论 -
本地数据仓库项目(一) —— 本地数仓搭建详细流程
搭建离线数仓,并实现数据采集到简单数据分析过程原创 2023-01-02 22:41:55 · 3317 阅读 · 0 评论