学习慕课网上的《Hadoop大数据平台架构与实践》的学习笔记
原视频地址:http://www.imooc.com/learn/391
- 大数据技术的相关概念
- 大数据的存储与分析(Hadoop)
- 降低成本
- 软件保证可靠性
- 简化并行分布式计算,无须控制节点同步和数据交换
- Hapoop
- 分布式存储和分布式计算平台
- 两个核心
- HDFS:分布式文件系统,存储海量的数据
- MapReduce:并行处理框架,实现任务分解和调度
- 搭建大型数据仓库,PB级数据的存储、处理、分析、统计等业务
- 优点:高扩展、低成本、成熟的生态圈
- HIVE
- 将SQL语句转化
- HBASE
- zookeeper
- 监控Hadoop每个节点的状态
- 大数据的存储与分析(Hadoop)
- Hadoop的架构和运行机制
- HDFS设计架构
- 块(Block)64MB,是文件存储处理的逻辑单元
- NameNode是管理节点,存放文件元数据
- DataNode是HDFS的工作节点,存放数据块
- HDFS的数据管理策略
- 每个数据块3个副本,分布在两个机架内的三个节点
- 心跳检测:DataNode定期向NameNode发送心跳信息
- 二级NameNode定期同步元数据映像文件和修改日志
- HDFS读取写入文件
- 特点:
- 数据冗余,硬件容错
- 流式数据访问
- 存储大文件
- 适合数据批量读写,吞吐量高
- 不适合交互式应用,低延迟很难满足
- 适合一次写入多次读取,顺序读写
- 不支持多用户并发写相同文件
- MapReduce
- 一个大任务分成多个小的子任务,并行执行后合并结果
- 运行流程
- job&task
- jobtracker : 作业调度、分配任务,监控任务执行进度,监控Taktracker运行状态
- tasktracker : 执行任务,汇报任务状态
- 输入数据——Map任务——中间结果——Reduce任务——输出结果
- 容错机制
- 重复执行
- 推测执行
- HDFS设计架构
- Hadoop开发
- 《Hadoop技术详解》、《Hadoop开发指南》