![](https://img-blog.csdnimg.cn/20201014180756780.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
是个小布丁
擅长大数据又不会做饭的女厨师!
展开
-
最易懂的MapReduce工作流程详解!
MapReduce工作流程原理详解 (1)输入数据(Input):客户端submit()(客户端submit()前就已经将数据进行逻辑上的规划,也就是切片了),客户端将数据信息(job.split , wc.jar等)提交给Yarn的ResourceManager进行处理,ResourceManager启动NodeManager和ApplicationMaster,ApplicationMaster根据接收到的job.split信息,开启与切片个数相同个数的MapTask,MapTask启动后,用Input原创 2021-04-19 23:33:37 · 453 阅读 · 1 评论 -
hadoop集群安全模式(查看,进入,离开,等待安全模式状态)
集群处于安全模式,不能执行重要操作(写操作)。集群启动完成后,自动退出安全模式。 (1)bin/hdfs dfsadmin -safemode get (功能描述:查看安全模式状态) (2)bin/hdfs dfsadmin -safemode enter (功能描述:进入安全模式状态) (3)bin/hdfs dfsadmin -safemode leave (功能描述:离开安全模式状态) (4)bin/hdfs dfsadmin -safemode wait (功能描述:等待安全模式状态原创 2021-04-14 19:30:22 · 838 阅读 · 1 评论 -
十分钟学会hadoop史上最详细安装教程!
1、集群部署规划 注意:NameNode和SecondaryNameNode不要安装在同一台服务器 注意:ResourceManager也很消耗内存,不要和NameNode、SecondaryNameNode配置在同一台机器上。 2、将hadoop安装包从Xftp上传到/opt/software 3、解压安装文件到/opt/module下面 [xiaobuding@hadoop102 software]$ tar -zxvf hadoop-3.1.3.tar.gz -C /opt/module/ 4、配置原创 2021-04-06 18:19:23 · 794 阅读 · 2 评论 -
hadoop流程图
hadoop流程图 原创,转载请私信哦!原创 2021-04-05 18:02:00 · 326 阅读 · 0 评论