hadoop
铭霏
这个作者很懒,什么都没留下…
展开
-
LiveNodeg个数不对/Unauthorized request to start container解决办法
org.apache.hadoop.yarn.exceptions.YarnException: Unauthorized request to start container在启动hadoop的时候遇到提示如上错误,其原因是namenode,datanode时间同步问题解决办法:多个datanode与namenode进行时间同步,在每台服务器执行:ntpdate ti原创 2016-03-12 23:55:12 · 847 阅读 · 0 评论 -
跟着实例学习ZooKeeper的用法: Leader选举
ZooKeeper官方给出了使用zookeeper的几种用途。Leader ElectionBarriersQueuesLocksTwo-phased Commit其它应用如Name Service, Configuration, Group Membership在实际使用ZooKeeper开发中,我们最常用的是Apache Curator。 它由Netflix公司贡献给A转载 2016-10-25 12:13:16 · 1133 阅读 · 0 评论 -
Zookeeper-Zookeeper leader选举
在上一篇文章中我们大致浏览了zookeeper的启动过程,并且提到在Zookeeper的启动过程中leader选举是非常重要而且最复杂的一个环节。那么什么是leader选举呢?zookeeper为什么需要leader选举呢?zookeeper的leader选举的过程又是什么样子的?本文的目的就是解决这三个问题。首先我们来看看什么是leader选举。其实这个很好理解,leader选举就像总统转载 2016-10-25 12:11:46 · 646 阅读 · 0 评论 -
ZooKeeper原理及使用
ZooKeeper是Hadoop Ecosystem中非常重要的组件,它的主要功能是为分布式系统提供一致性协调(Coordination)服务,与之对应的Google的类似服务叫Chubby。今天这篇文章分为三个部分来介绍ZooKeeper,第一部分介绍ZooKeeper的基本原理,第二部分介绍ZooKeeper提供的Client API的使用,第三部分介绍一些ZooKeeper典型的应用场景。转载 2016-10-25 12:09:29 · 320 阅读 · 0 评论 -
Linux集群时间同步设置
集群时间同步 是hadoop hbase等分布式框架的一个常见问题。所以记录下来。本文转载自:http://jerrylead.iteye.com/blog/1179492打算将11台Linux集群时间同步一下,操作系统都为Ubuntu 11.04 x86 64位选定其中一台133.133.10.2作为时间服务器(ntp server),其他节点与该节点进行时间同步。 1、在1转载 2016-09-15 13:55:44 · 4193 阅读 · 0 评论 -
Hadoop、Hbase、Hive版本兼容性
装Spark的时候想当然的装了Hadoop的最新版 2.6.x结果后面再安装HBase和Hive的时候 遇到了 彼此无法兼容的问题 总有一个安装无法连接其他 ..现在记录一下这三者的关系原创 2016-08-24 16:19:47 · 10360 阅读 · 2 评论 -
浅谈Hive vs. HBase
本文转载自:http://www.csdn.net/article/2014-05-29/2820004-Hive-HBase对于刚接触大数据的用户来说,要想区分Hive与HBase是有一定难度的。本文将尝试从其各自的定义、特点、限制、应用场景等角度来进行分析,以作抛砖引玉之用。 Hive是什么?Apache Hive是一个构建于Hadoop(分布式系统基础架构)顶层的数据转载 2016-09-14 12:52:16 · 373 阅读 · 0 评论 -
hadoop2.x常用端口及定义方法
留着备忘。转载自:http://www.zhixing123.cn/ubuntu/40649.htmlPS:很感谢作者的整理。有时候端口太多了 时间一久就忘了。Hadoop集群的各部分一般都会使用到多个端口,有些是daemon之间进行交互之用,有些是用于RPC访问以及HTTP访问。而随着Hadoop周边组件的增多,完全记不住哪个端口对应哪个应用,特收集记录如此,以便查询转载 2016-06-18 15:29:57 · 1158 阅读 · 0 评论 -
Spark On YARN内存分配
原文地址: http://blog.javachen.com/2015/06/09/memory-in-spark-on-yarn.html 本文主要了解Spark On YARN部署模式下的内存分配情况,因为没有深入研究Spark的源代码,所以只能根据日志去看相关的源代码,从而了解“为什么会这样,为什么会那样”。说明 按照Spark应用程转载 2016-06-15 23:40:58 · 3325 阅读 · 0 评论 -
Hadoop YARN配置参数剖析
今天重新调整yarn的参数时用到的,留一个备份以便以后修改时参考注意,配置这些参数前,应充分理解这几个参数的含义,以防止误配给集群带来的隐患。另外,这些参数均需要在yarn-site.xml中配置。 1. ResourceManager相关配置参数 (1) yarn.resourcemanager.address 参数解释:ResourceManager 对客户端暴露的原创 2016-06-15 23:26:45 · 1451 阅读 · 0 评论 -
Hadoop之HDFS文件操作
摘要:Hadoop之HDFS文件操作常有两种方式,命令行方式和JavaAPI方式。本文介绍如何利用这两种方式对HDFS文件进行操作。关键词:HDFS文件 命令行 Java APIHDFS是一种分布式文件系统,为MapReduce这种框架下的海量数据分布式处理而设计。Hadoop之HDFS文件操作常有两种方式,一种是命令行方式,即Hadoop提供了一套与Linu原创 2016-04-01 14:22:46 · 858 阅读 · 0 评论 -
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode:unknown error解决办法
SHUTDOWN_MSG: Shutting down NameNode at java.net.UnknownHostException: datanode: datanode: unknown error在格式化Hadoop时报出如上错误.原因: hadoop在格局化HDFS的时辰,经由过程hostname号令获取到的主机名在/etc/hosts文件中进行映射原创 2016-03-13 00:02:01 · 9910 阅读 · 0 评论 -
Redis和Memcache对比及选择
转载自:”http://www.cnblogs.com/EE-NovRain/p/3268476.html我这段时间在用redis,感觉挺方便的,但比较疑惑在选择内存数据库的时候到底什么时候选择redis,什么时候选择memcache,然后就查到下面对应的资料,是来自redis作者的说法(stackoverflow上面)。 You should not care to转载 2016-11-16 16:19:30 · 422 阅读 · 1 评论