大数据
大数据相关知识
xfchn多多学习学习
这个作者很懒,什么都没留下…
展开
-
大数据环境搭建(一)-Hive
Hive安装部署原创 2024-02-03 18:50:54 · 1790 阅读 · 0 评论 -
大数据环境搭建(一)-Hadoop
虚拟机模拟大数据环境第一篇 Hadoop安装原创 2024-01-30 19:58:53 · 616 阅读 · 0 评论 -
引起数据倾斜的常见字段
城市:业绩归属城市,门店所在城市等组织机构:元事业部,二级机构,城市分中心,部门等渠道: 客户来源,销售渠道-直销网销电销第三方,销售子渠道原创 2023-02-07 12:08:53 · 102 阅读 · 0 评论 -
kafka Standalone 配置 测试
一 安装1、安装jdk安装jdk2 安装 zk这里Standalone模型$ tar -zxf apache-zookeeper-3.5.9-bin.tar.gz -C /var/soft/$ mv apache-zookeeper-3.5.9-bin/ zookeeper-3.5.9-bin/$ mv zoo_sample.cfg zoo.cfg$ vi zoo.cfg修改此处,其他默认dataDir=/var/soft/zookeeper-3.5.9-bin/zkData原创 2021-05-16 09:29:26 · 534 阅读 · 0 评论 -
通过日志表记录的时间点,统计时间段的数据
问题:通过日志表记录的时间点,统计时间段的数据准备:工作记录日志表sn 法律案件的序列号,每个时间点的负责用户。如[10, 11)点为u1负责,[11, 16)为u2负责, 16点之后为u3负责wrk_record_logsnuser_idmark_timesn001u12020-03-01 10:00:00sn001u22020-03-01 12:00:00sn001u32020-03-01 16:00:00sn002u42020-0原创 2021-04-05 11:57:17 · 480 阅读 · 0 评论 -
flink/hive sql 实现递归 查询人员组织架构
递归人员归属查询解决的问题:flink sql无法使用递归查询的问题场景syc_loan_dpt(did, dname, dlevel, pdid)、syc_agent_usr(uid、uname、did)组织架构:元事业部/城市中心/分中心/中心分部/归属阶段/归属小组每个销售经归属,叶子节点可能为level in (6, 7, 8), 要求从原事业部开始到叶子节点业务库(Oracle)selecetdid, dname, dlevel, pdidfrom syc原创 2021-04-05 11:09:38 · 4376 阅读 · 1 评论 -
timestamp,timestamp(0),timestamp(6)区别
timestamp,timestamp(0),timestamp(6)区别原创 2021-03-22 17:37:00 · 3338 阅读 · 2 评论 -
实时计算平台
Flink实时计算平台架构Flink + kafka + clickHouse + mysql+postgresql原创 2021-03-25 23:05:41 · 249 阅读 · 0 评论