- 博客(3)
- 收藏
- 关注
RSS订阅原创 Hadoop之MapReduce
分而治之，将一个大任务分成若干个小任务（map）并行执行后，合并结果（reduce）1.MapReduce体系结构JobTracker的角色：作业调度 分配任务、监控任务执行进度 监控TaskTracker的状态TaskTracker的角色：执行任务 向JobTracker汇报任务状态2.MapReduce的作业执行过程3.MapReduce容错机制重复执...
2019-08-11 16:54:35
105
原创 Hadoop之HDFS
1.HDFS概念1）数据块：HDFS的文件被分成块进行存储，块是文件存储的逻辑单元 是抽象的块，而非整个文件作为存储单元； 默认大小是64M，一般设置为128M，备份3份2）NameNode：管理节点，管理文件系统的命名空间，存放文件元数据； 维护文件系统所有文件和目录，文件与数据块的映射 记录每个文件中数据库所在数据节点的信息3）DataNode ：工作节点，存储并检...
2019-08-11 16:51:26
169
原创 Hadoop入门学习笔记
1.Hadoop是什么？Hadoop是一个开源的大数据框架，是一个分布式计算的解决方案Hadoop=HDFS（分布式文件系统）+ MapReduce（分布式计算）可以用来搭建大型数据仓储，实现PB级的数据存储、处理、分析、统计等业务2.Hadoop的核心？HDFS分布式文件系统：存储是大数据的基础，存储海量的数据 MapReduce编程模型：分布式计算是大数据应用的解决方案，...
2019-08-11 16:50:52
111
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人