![](https://img-blog.csdnimg.cn/20201014180756724.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
下雨天_____
擅长领域:智慧城市,信息安全,电信业务
展开
-
Spark On Yarn环境搭建
最近在打Spark环境,下面hi简单总结: 一、 基本布局 1、 服务器分布: 10.168.9.240 主名字节点,同时为数据节点 10.168.9.241 备名字节点,同时数据节点 10.168.9.242 数据节点 2、 HOSTS设置: 10.168.9.240 namenode1 10.168.9.241 namenode2原创 2014-09-12 09:49:23 · 807 阅读 · 0 评论 -
Yarn简单介绍及内存配置
在这篇博客中,主要介绍了Yarn对MRv1的改进,以及Yarn简单的内存配置和Yarn的资源抽象container。 我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负责任务调度,这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题,是与其最初的设计有关,如下图: 从上图可以看到,MRv1是围绕着MapReduce进行,并没有过多地考虑以后出现的原创 2014-09-12 09:43:25 · 813 阅读 · 1 评论 -
Zookeeper 的学习
引子? 云计算越来越流行的今天,单一机器处理能力已经不能满足我们的需求,不得不采用大量的服务集群。服务集群对外提供服务的过程中,有很多的配置需要随时更新,服务间需要协调工作,这些信息如何推送到各个节点?并且保证信息的一致性和可靠性? 众所周知,分布式协调服务很难正确无误的实现,它们很容易在竞争条件和死锁上犯错误。如何在这方面节省力气?Zookeeper是一个不错的选择。Zookeepe原创 2015-07-22 09:27:06 · 376 阅读 · 0 评论