- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop之MapReduce
分而治之，将一个大任务分成若干个小任务（map）并行执行后，合并结果（reduce） 1.MapReduce体系结构 JobTracker的角色： 作业调度 分配任务、监控任务执行进度 监控TaskTracker的状态 TaskTracker的角色： 执行任务 向JobTracker汇报任务状态 2.MapReduce的作业执行过程 3.MapReduce容错机制 重复执...
2019-08-11 16:54:35
97
原创 Hadoop之HDFS
1.HDFS概念 1）数据块： HDFS的文件被分成块进行存储，块是文件存储的逻辑单元 是抽象的块，而非整个文件作为存储单元； 默认大小是64M，一般设置为128M，备份3份 2）NameNode： 管理节点，管理文件系统的命名空间，存放文件元数据； 维护文件系统所有文件和目录，文件与数据块的映射 记录每个文件中数据库所在数据节点的信息 3）DataNode ： 工作节点，存储并检...
2019-08-11 16:51:26
149
原创 Hadoop入门学习笔记
1.Hadoop是什么？ Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案 Hadoop=HDFS（分布式文件系统）+ MapReduce（分布式计算） 可以用来搭建大型数据仓储，实现PB级的数据存储、处理、分析、统计等业务 2.Hadoop的核心？ HDFS分布式文件系统：存储是大数据的基础，存储海量的数据 MapReduce编程模型：分布式计算是大数据应用的解决方案，...
2019-08-11 16:50:52
100
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人