01_Hadoop入门

Hadoop入门

---

1.Hadoop概述

1.1大数据概念

• 大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。
• 大数据主要解决的问题：海量数据的存储和计算

1.2大数据特点

• Volume （大量）
• Velocity （高速）
• Variety （多样）
• Value （低价值密度）
• Veracity （真实性）

---

2.Hadoop架构

2.1 大数据开发流程：

获取数据源 => 搭建大数据平台进行数据存储和计算 => 数据可视化

2.2企业部门架构

• 平台组
  • Hadoop、Spark等框架的搭建
  • 集群性能监控和调优
• 数仓组
  • ETL工程师：数据清洗，包括数据抽取(Extract)、转化(Transform)、加载(Load)。
  • Hive工程师：数据分析HQL、数仓建模。
• 数据挖掘组
  • 算法工程师
  • 推荐系统
  • 用户画像
• 报表开发
  • JavaEE工程师

2.3技术架构