自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

冰秋的博客

产品技能的学习记录与感悟

  • 博客(3)
  • 收藏
  • 关注

原创 Hadoop之MapReduce

分而治之,将一个大任务分成若干个小任务(map)并行执行后,合并结果(reduce)1.MapReduce体系结构JobTracker的角色:作业调度 分配任务、监控任务执行进度 监控TaskTracker的状态TaskTracker的角色:执行任务 向JobTracker汇报任务状态2.MapReduce的作业执行过程3.MapReduce容错机制重复执...

2019-08-11 16:54:35 104

原创 Hadoop之HDFS

1.HDFS概念1)数据块:HDFS的文件被分成块进行存储,块是文件存储的逻辑单元 是抽象的块,而非整个文件作为存储单元; 默认大小是64M,一般设置为128M,备份3份2)NameNode:管理节点,管理文件系统的命名空间,存放文件元数据; 维护文件系统所有文件和目录,文件与数据块的映射 记录每个文件中数据库所在数据节点的信息3)DataNode :工作节点,存储并检...

2019-08-11 16:51:26 169

原创 Hadoop入门学习笔记

1.Hadoop是什么?Hadoop是一个开源的大数据框架,是一个分布式计算的解决方案Hadoop=HDFS(分布式文件系统)+ MapReduce(分布式计算)可以用来搭建大型数据仓储,实现PB级的数据存储、处理、分析、统计等业务2.Hadoop的核心?HDFS分布式文件系统:存储是大数据的基础,存储海量的数据 MapReduce编程模型:分布式计算是大数据应用的解决方案,...

2019-08-11 16:50:52 111

空空如也

空空如也

TA创建的收藏夹 TA关注的收藏夹

TA关注的人

提示
确定要删除当前文章?
取消 删除