![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 87
那天她没有吃冰棍
一条数据狗的进化之路。
展开
-
Mapreduce核心编程思想解析
Mapreduce核心编程思想解析 本文旨在介绍mr核心编程思想,帮助大家更好的理解mr的运行机制 目录 1.概念 Job(作业) : 一个MR程序称为一个Job MRAppMaster(MR任务的主节点): 一个Job在运行时,会先启动一个进程,这个进程为 MRAppMaster。负责Job中执行状态的监控,容错,和RM申请资源,提交Task等! Task(任务): Task是一个进程!负责某项计算! > Map(Map阶段) Map是MapReduce程序运行的第一个阶段! Ma原创 2021-04-25 22:00:05 · 422 阅读 · 1 评论 -
云服务器搭建HADOOP集群
百度云服务器安装HADOOP集群目录云服务器配置1. **设置安全组**2. **服务器配置**> 关闭防火墙和selinux 配置/etc/hosts> 创建hdp用户,设置主机互信> 配置sudo> 编写xcall ,xrsync 文件3. **软件安装**> 安装JDK> 安装hadoop> hadoop目录结构4.**HADOOP配置文件**> core-site.xml> hdfs-site.xml> mapred-site.xml>原创 2021-04-25 17:56:57 · 391 阅读 · 0 评论