项目
文章平均质量分 93
ListenerDMT
大数据
展开
-
数仓建表111111
一、dim层1、商品信息表(1)建表语句drop table if EXISTS dim_sku_info_df;CREATE TABLE if not EXISTS dim_sku_info_df(sku_id string comment '库存单元id',price double comment '价格',sku_name string comment '库存单元名称',sku_desc string comment '商品规格描述',weight double原创 2022-04-22 17:23:11 · 534 阅读 · 0 评论 -
Flume介绍、基础架构+Flume安装+Flume开发脚本+编写Flume拦截器+埋点数据装载到Hive
一、Flume是什么?+项目背景1.Flume介绍Flume 基于流式架构是一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。本项目 Flume 实时读取服务器本地目录下生成的埋点数据,将数据实时写入到HDFS。有的公司涉及几十甚至上百的的web服务器操作流程可能如下:二、Flume基础架构1、核心组件(1)AgentAgent 是一个 JVM 进程,它以事件的形式将数据从源头送至目标地。主要有 3 个部分组成,Source、Chann.原创 2022-04-19 14:48:32 · 4278 阅读 · 0 评论 -
服务器部署datax+使用Python脚本导数+项目数据
一、在服务器上部署Datax1、将安装包解压至app下[peizk@hadoop app]$ tar -zxvf datax.tar.gz -C ~/app/2、配置环境变量[root@hadoop ~]# vim /etc/profile添加如下#DATAX_HOMEexport DATAX_HOME=/home/peizk/app/dataxexport PATH=$PATH:$DATAX_HOME/bin不要忘记source!!!3、执行一下官方例子原创 2022-04-13 09:44:41 · 5219 阅读 · 1 评论