- 博客(2)
- 收藏
- 关注
原创 Hadoop常用的调优参数
2.3 Hadoop常用的调优参数1)资源相关参数(1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml)配置参数参数说明mapreduce.map.memory.mb一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,则会被强制杀死。mapreduce.reduce.memory.mb一个ReduceTask可使用的资源上限(单位:MB),默认为1024。如果ReduceT
2020-08-16 13:33:47
142
原创 hadoop
hadoop基本流程HDFS读数据流程1)客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。Yarn(1)作业提交第1步:Client调用job.wai
2020-08-15 09:04:47
71
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人