Hadoop
Mr_Lon
这个作者很懒,什么都没留下…
展开
-
Hadoop部署教程
1. 创建用户sudo useradd -m hadoop -s /bin/bash这条命令创建了可以登陆的 hadoop 用户,并使用 /bin/bash 作为 shell。接着输入密码:可为 hadoop 用户增加管理员权限,方便部署,避免一些对新手来说比较棘手的权限问题:vi /etc/sudoers.2. 确定主机名编辑主机名 vi /etc/hostname编辑IP映射关...原创 2019-03-10 13:12:12 · 559 阅读 · 0 评论 -
MapReduce详解
1.MapReduce框架一个完整的mapreduce程序在分布式运行时有三类实例进程:1、MRAppMaster:负责整个程序的过程调度及状态协调2、mapTask:负责map阶段的整个数据处理流程3、ReduceTask:负责reduce阶段的整个数据处理流程运行流程:一个MR程序启动的时候,最先启动的是MRAppMaster,MRAppMaster启动后根据本次job的描述信...原创 2019-03-14 16:35:51 · 527 阅读 · 0 评论