![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 67
__Miracle__
这个作者很懒,什么都没留下…
展开
-
Hadoop中Yarn和Mapreduce
yarnYet Another Resource Negotiator, 另一种资源协调者通用资源管理系统为上层应用提供统一的资源管理和调度,为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处YARN的架构和执行流程ResourceManager: RM 资源管理器1、整个集群同一时间提供服务的RM只有一个,负责集群资源的统一管理和调度, 2、处理客户端的请求: submit, kill监控我们的NM,一旦某个NM挂了,那么该NM上运行的任务需要告诉我们的AM来如何进行处理Node转载 2021-09-17 08:47:40 · 198 阅读 · 0 评论 -
使用Java操作HDFS
Maven通俗上讲就是我们不在手动导入jar包,交给Maven去管理Maven通过pom.xml中的坐标进行管理新建Maven项目导入依赖 <url>http://maven.apache.org</url><properties><project.build.sourceEncoding>UTF-8</project.build.sourceEncoding><hadoop.version>2.6.0-cdh转载 2021-09-14 14:45:51 · 1832 阅读 · 0 评论