hadoop
卡奥斯道
技术时代的你,愿为技术付出
展开
-
hadoop分布式安装
部署zk,hadoop集群CentOS环境安装 CentOS-6.5-x86_64-bin-DVD.iso 三台机器分别为hadoop01、hadoop02、hadoop03 版本:hadoop-2.6.4 jdk1.8.0_112 zookeeper-3.4.6 安装目录:/opt 下 集群的部署情况 hadoop01 192.168.100.100 jdk、hadoop、zk namenode、zk、journade、zkfc hadoop02 192.168.100.101原创 2017-08-20 12:21:17 · 296 阅读 · 0 评论 -
yarn简介及内存配置
转载:http://blog.chinaunix.net/uid-28311809-id-4383551.html在这篇博客中,主要介绍了Yarn对MRv1的改进,以及Yarn简单的内存配置和Yarn的资源抽象container。我么知道MRv1存在的主要问题是:在运行时,JobTracker既负责资源管理又负责任务调度,这导致了它的扩展性、资源利用率低等问题。之所以存在这样的问题,是与其转载 2017-09-12 21:44:30 · 1003 阅读 · 0 评论 -
大数据常见错误解决方案
大数据常见错误解决方案(转载)http://www.cnblogs.com/cstzhou/p/6437270.html1、用./bin/spark-shell启动spark时遇到异常:java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries转载 2017-09-13 16:14:49 · 3162 阅读 · 0 评论