- 博客(11)
- 收藏
- 关注
RSS订阅原创 MPP数据库简介
MPP架构是将任务并行的分散到多个服务器和节点上，在每个节点上计算完成后，将各自部分的结果汇总在一起得到最终的结果。采用MPP架构的数据库称为MPP数据库。
2022-09-09 10:04:32
15355
1
原创 浅谈数据中台
数据中台是大数据的下一站1）数据中台构建于数据湖之上，具备数据湖异构数据统一计算、存储的能力，同时让数据湖中杂乱的数据通过规范化的方式管理起来。2）数据中台需要依赖大数据平台，大数据平台完成了数据研发的全流程覆盖，数据中台增加了数据治理和数据服务化的内容。3）数据中台借鉴了传统数据仓库面向主题域的数据组织模式，基于维度建模的理论，构建统一的数据公共层。
2022-09-06 17:22:15
845
原创 浅谈 Tableau 和 Finebi 的异同
Tableau1）虽然只是定位为数据可视化工具，但是它的hyper数据引擎也是非常强大的，依赖于高性能分析数据库，理论上可以处理百万级数据，具有传统内存中解决方案的速度优势。2）在数据抓取和数据处理能力上较为欠缺，其本身没有后端数据仓库，虽然也有数据钻取、数据动态等功能，但是处理速度不快，还要依赖于其他ETL工具才能进行前端分析。3）侧重点是在获取一堆历史数据，然后进行分析，想要分析实时数据还很欠缺。
2022-09-06 16:54:00
384
原创 HiveQL 求每小时最高同时在线人数
问题：用户登入、退出app的日志表，假设里面只有一天的数据，计算以下数据：1、24个小时，每个小时的最高同时在线人数2、当日的最高同时在线人数3、当日的最高同时在线时间段
2022-09-05 12:12:45
743
原创 HiveQL 书写规范
HiveQL 是一种用于基于 SQL 的查询语言, 用于和 Hive 进行交互。本文旨在提供一份 HiveQL 书写的风格指导, 用于指导 HiveQL 代码的编写和 code review, 从而提高产出的 HiveQL 代码的可读性.
2022-09-02 16:55:19
441
1
原创 数据仓库分层标准
数据仓库分层的好处复杂问题简单化通过将复杂的计算任务分解到多个阶段执行，将所有的复杂计算，拆分成多个简单计算来进行，逻辑更清晰，单个任务更简单。混沌数据结构化将所有的数据按照不同的加工程度分层，明确了取用某一种加工程度的数据应该去哪一层，通过分层梳理了所有数据的结构。用空间换取时间将不同程度的聚合数据全部存储起来，避免了使用数据时的二次聚合，减轻了计算量。串行任务并行化分层数仓的每一层的任务可以并行处理，可以最大限度发挥计算引擎的性能，提升计算性能。
2022-09-02 16:45:38
1498
原创 Linux 常用命令
一、目录操作pwd 查看当前工作目录clear 清除屏幕cd ~ 当前用户目录cd / 根目录cd - 上一次访问的目录cd .. 上一级目录查看目录内信息ll 查看当前目录下内容（LL的小写）创建目录mkdir aaa 在当前目录下创建aaa目录，相对路径；mkdir ./bbb 在当前目录下创建bbb目录，相对路径；mkdir /ccc 在根目录下创建ccc目录，绝对路径；搜索命令find / -name
2022-03-25 14:30:58
50
原创 数据库 SQL 之 JOIN 类型
SQL JOIN 子句用于把来自两个或多个表的行结合起来。SQL JOIN 类型：1、INNER JOIN：如果表中有至少一个匹配，则返回行2、EFT JOIN：即使右表中没有匹配，也从左表返回所有的行3、RIGHT JOIN：即使左表中没有匹配，也从右表返回所有的行4、FULL JOIN：只要其中一个表中存在匹配，则返回行...
2022-03-24 17:33:52
2403
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人