![](https://img-blog.csdnimg.cn/20210414090346733.jpg?x-oss-process=image/resize,m_fixed,h_224,w_224)
数据仓库: Hadoop+Hive
文章平均质量分 80
数据仓库相关
涛2021
这个作者很懒,什么都没留下…
展开
-
电商数仓项目(三) hadoop3.2.2 安装与配置
文章目录一、集群规划二、hadoop3.2.2 下载三、配置环境变量四、上传hadoop-lzo-0.4.21.jar一、集群规划 node01 node02 node03 HDFS NameNode DataNode DataNode DataNode Secondary NameNode 二、hadoop3.2.2 下载2.1 下载hadoop3.2.2[j原创 2021-02-28 00:04:41 · 1591 阅读 · 0 评论 -
电商数仓项目(二) Maven 安装和hadoop-lzo编译
本章讲解Maven的安装配置和编译hadoop-lzo程序,为后续配置hdfs使用lzo压缩提供准备。原创 2021-02-23 22:51:50 · 481 阅读 · 0 评论 -
电商数仓项目(一) 系统规划和配置
本文是基于<<尚硅谷大数据项目之电商数仓>> 写的,软件使用最新稳定版本,后续会详细介绍每个软件的详细安装配置过程以及使用中遇到的常见问题,软件原理不会做详细介绍(书中已经做了详细的介绍)。一、 系统规划(1) 服务器配置如下: 服务器 操作系统 CPU 内存 存储 带宽 Node01 CentOS / 7.6 x8原创 2021-02-20 18:06:07 · 530 阅读 · 1 评论 -
电商数仓项目(十一) Hive安装与配置,以及配置tez
目录一、集群规划二、下载与设置三、初始化元数据四、hive启与停本节讲解Flume的安装与配置。一、集群规划在node01 安装,同步到node02,node03 node01 node02 node03 hive hive hive 二、下载与设置三、初始化元数据四、hive启与停...原创 2021-03-26 16:10:59 · 276 阅读 · 2 评论 -
电商数仓项目(九) Sqoop安装与配置
目录一、规划二、安装与配置三、验证与测试本节讲解Sqoop 的安装和配置。一、规划 node01 node02 node03 sqoop sqoop sqoop 二、安装与配置# 1. 下载sqoop[jack@node01 u02]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/1.4.7/sqoop-1.4.7.bin原创 2021-03-22 09:00:29 · 146 阅读 · 0 评论 -
电商数仓项目(八) Flume(3) 生产者和消费者配置
目录一、生产数据写到kafka二、消费kafka数据写到hdfs本节讲解Flume 生产者和消费者配置。一、生产数据写到kafka将上节生成的flume-interceptor-1.0.0.jar文件上传到$FLUME_HOME/lib目录下在$FLUME_HOME/conf目录中创建file-flume-kafka.conf文件,文件目录:/u01/gmall/data/in/log-data读取的文件:app开头的文件内容如下:#定义Agent必需的组件名称,同时指定本配置文件的A原创 2021-03-20 10:35:04 · 517 阅读 · 0 评论 -
电商数仓项目(八) Flume(2) 拦截器开发
目录一、开发本节讲解Flume 拦截器的开发。一、开发电商数仓项目(一) 系统规划和配置电商数仓项目(二) Maven 安装和hadoop-lzo编译电商数仓项目(三) hadoop3.2.2 安装与配置电商数仓项目(四) 模拟电商日志数据开发电商数仓项目(五) azkaban安装、配置和使用电商数仓项目(六) zookeeper安装和配置电商数仓项目(七) kafka 安装、配置和简单操作电商数仓项目(八) Flume 安装和配置...原创 2021-03-19 13:10:49 · 178 阅读 · 0 评论 -
电商数仓项目(八) Flume(1) 安装和配置
目录一、集群规划二、下载与设置三、Jar修改和替换本节讲解Flume的安装与配置。一、集群规划 node01 node02 node03 Flume(生产者) Flume(生产者) Flume(消费者) 二、下载与设置# 1. 下载flume[jack@node01 u02]$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/flume/原创 2021-03-18 13:51:19 · 143 阅读 · 0 评论 -
电商数仓项目(七) kafka 安装、配置和简单操作
目录原创 2021-03-15 13:30:07 · 277 阅读 · 1 评论 -
电商数仓项目(六) zookeeper安装和配置
目录一、集群规划二、上传文件并解压缩三、修改环境变量(所有服务器)四、修改配置文件五、集群操作六、统一启动集群本节讲解zookeeper安装与配置。一、集群规划 node01 node02 node03 zookeeper zookeeper zookeeper 二、上传文件并解压缩上传到/u02目录,或者使用wget下载到u02目录下载地址:https://downloads.apac原创 2021-03-04 12:10:03 · 186 阅读 · 1 评论 -
电商数仓项目(五) azkaban安装、配置和使用
目录一、集群规划二、Gradle安装与配置三、Azkaban编译四、初始化数据库五、Azkaban配置与启动六、Azkaban使用本节主要讲解Azkaban的安装、配置和使用。源代码一、集群规划 node01 node02 node03 exec exec、mysql web 二、Gradle安装与配置安装git和gcc(所有服务器都安装)[root@node01 ~]# yum原创 2021-03-03 13:27:00 · 595 阅读 · 0 评论 -
电商数仓项目(四) 模拟用户行为数据开发
这里写目录标题一级目录二级目录三级目录一级目录二级目录三级目录本节主要介绍如何使用IntelliJ IDEA开发模拟用户行为数据。原创 2021-02-28 15:12:00 · 742 阅读 · 0 评论