Hadoop 入门总结

目录

大纲（HADOOP） 2

1. HADOOP 快速入门 3

什么是HADOOP 3

HADOOP产生背景 3

HADOOP在大数据、云计算中的位置和关系 3

国内外HADOOP应用案例介绍 4

国内HADOOP的就业情况分析 5

HADOOP生态圈以及各组成部分的简介 6

分布式系统概述 6

2. HIVE快速入门 7

2.1 Hive基本介绍 7

2.2 Hive的基本使用 8

2.3 数据仓库基本知识 9

3. 数据分析案列演示 10

3.1 需求分析 10

3.1.1案例名称 10

3.1.2 案例需求描述 10

3.1.3 web点击流日志的数据格式 10

3.1.4 分析指标 11

3.1.5 统计结果数据可视化 11

3.2 数据来源分析 12

3.2.1 企业中获取数据的几种方式 12

3.2.2 数据采集 12

3.3 数据处理流程 13

数据预处理/加载入库 13

使用Hive做数据ETL 14

使用Hive运算业务指标 16

将结果数据导出到mysql（sqoop） 17

结果展现——数据可视化 17

4. 集群搭建 18

4.1 HADOOP集群搭建 18

4.1.1集群简介： 18

4.1.2服务器准备 18

4.1.3网络环境准备 18

4.1.4服务器系统设置 18

4.1.5 Jdk环境安装 19

4.1.6 HADOOP安装部署 19

4.1.7 启动集群 21

4.1.8 测试 21

4.2 Hive搭建 22

Hive