![](https://img-blog.csdnimg.cn/20190918140037908.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
10.数据采集
基础知识
潭中镜月
这个作者很懒,什么都没留下…
展开
-
05.集群监控
1.0 Zabbix入门1.1 Zabbix概述监控各种网络参数,服务器健康性和完整性的软件基于已存储的数据,Zabbix提供了出色的报告和数据可视化功能1.2 Zabbix基础架构触发器:相当于一个表达式(例如,使用率>90%)database:两类数据–>配置信息和收集的数据在Zabbix-web上配置信息2.0 Zabbix部署把文件放在httpd的路径下就可以通过页面访问3.0 Zabbix使用3.1 Zabbix术语Host(主机):一台你想监控原创 2020-08-12 18:18:05 · 97 阅读 · 0 评论 -
04.Kylin
1.0 Kylin1.1 Kylin简介1.1.1 Kylin术语Data Warehouse(数据仓库)Business Intelligence(商业智能BI) -->数据转为知识OLAPPresto是ROLAP Kylin是MOLAPOLAP Cube:MOLAP基于多维数据集,一个多维数据集成为一个OLAP Cube上述的7个Cuboid组成1个Cube计算顺序:先计算角度7,在角度7的基础上计算其他角度D原创 2020-08-12 18:18:21 · 136 阅读 · 0 评论 -
03.Presto
1. 0 Presto1.1 Presto简介coordinator 和 workercatalog相当于是presto的元数据优缺点:优点:基础内存计算,减少磁盘IO能够连接多个数据源,跨数据源连表查询缺点:边读数据边计算,再清数据,但是连表查询,就可能产生临时数据,因此速度会变慢(可以提前join好,得到大宽表)Impala性能稍领先presto ,但是presto数据源支持上分厂丰富(技术选型的时候有用)1.2 Presto安装三个包都需要原创 2020-08-11 18:57:07 · 95 阅读 · 0 评论 -
02.Azkaban
1.0 Azkaban概论Ooize 是CDH集群 Azkaban 是Apache集群Ooize功能很全 但是在hadoop平台上有点麻烦 相比较下来 Azkaban为轻量级,已经可以满足一般的需求2.0 Azkaban入门单节点和集群模式(容灾 和 …)YAML语法 简单了解一下就可以了3.0 Azkaban进阶3.1 定时执行案例3.2 邮件报警案例类似于邮箱的SMTP服务4.0 参考资料4.1 Azkaban完整配置从hdfs导出到MySQL:如何原创 2020-08-11 18:55:15 · 74 阅读 · 0 评论 -
01.电商数据仓库系统
0.0 内容回顾kafka channel: 3种 可以在官网上看hdfs sink底层是event的header的时间戳 但是现在是kafka source自己加–>hadoop104的系统时间–>flume拦截器–>精确控制时间把拦截器安装在104上 因为102的配置里有设置不保留event结构的设置拦截器写在source上(能不能batch处理)1.0 数仓分层重点是数据结构 SQL是要慢慢练得1.1 为什么要分层ODS(Operation Data S原创 2020-08-11 18:53:02 · 221 阅读 · 0 评论 -
00.电商项目
1.0 数据仓库概念数据仓库是为企业所有决策制过程,提供所有系统数据支持的战略集合.通过对数据仓库中数据的分析,可以帮助企业改进业务流程 控制成本 提高产品质量数据仓库,并不是数据的最终目的地,而是为数据最终的目的地做好准备.这些准备包括对数据的:清洗 转义 分类 重组 合并 拆分 统计2.0 项目需求及架构设计2.1 项目需求分析用户行为数据采集平台搭建业务数据采集平台搭建数据仓库维度建模分析:设备 会员 商品 地区 活动 等电商核心主题采用即席查询工具,随时进行指标分析对集群原创 2020-08-11 18:52:23 · 85 阅读 · 0 评论