关于hive,mapreduce,hadoop讲解

mapreduce知识

1.什么是mapreduce?特点?
mapreduce分为map端和reduce端
	map端映射,reduce端归约
	mapreduce是分布式计算框架,用于处理海量数据
	特点:
	易于编程,
	高扩展
	适合海量数据的处理
	有良好的容错性

2.maptask和reducetask的区别?

maptask解析数据通过map方法写入磁盘
reducetask通过复制map端的数据进行归约,写出磁盘

3.hadoop的自带辅助类

tool,toolrunner,configured

4.mapreduce的执行流程?

	1.定义一个数据为300M(存储默认按照块存储,大小128M)
2.300M分为3块,block01,block02,block03,分别为128M,128M,44M.每一个分块对应一个切片:split01,split02,split03.
(块:存储数据,物理上的
	切片:逻辑上的切片
	切片大小默认块大小。)

3.在切片的过程中涉及到文件输入(fileinputformat)
1.获取文件列表
2.获取文件的位置
3.获取分片的位置
4.每一个切片对应一个maptask:	maptask01,maptask02,maptask03,
5.以一个maptask为,切牌你之后执行mao()方法
 6.map输入数据到环形内存缓冲区,默认的小100M,阈值0.8,达到80溢写
  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值