![](https://img-blog.csdnimg.cn/20201014180756926.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
陌上人若玉
人生如逆旅,我亦是行人
展开
-
Hadoop常用的调优参数
2.3 Hadoop常用的调优参数 1)资源相关参数 (1)以下参数是在用户自己的MR应用程序中配置就可以生效(mapred-default.xml) 配置参数 参数说明 mapreduce.map.memory.mb 一个MapTask可使用的资源上限(单位:MB),默认为1024。如果MapTask实际使用的资源量超过该值,则会被强制杀死。 mapreduce.reduce.memory.mb 一个ReduceTask可使用的资源上限(单位:MB),默认为1024。如果ReduceT原创 2020-08-16 13:33:47 · 144 阅读 · 0 评论 -
hadoop
hadoop基本流程 HDFS读数据流程 1)客户端通过DistributedFileSystem向NameNode请求下载文件,NameNode通过查询元数据,找到文件块所在的DataNode地址。 2)挑选一台DataNode(就近原则,然后随机)服务器,请求读取数据。 3)DataNode开始传输数据给客户端(从磁盘里面读取数据输入流,以Packet为单位来做校验)。 4)客户端以Packet为单位接收,先在本地缓存,然后写入目标文件。 Yarn (1)作业提交 第1步:Client调用job.wai原创 2020-08-15 09:04:47 · 72 阅读 · 0 评论