hadoop+zookeeper+hbase环境搭建的一些问题

原创 2013年12月05日 16:08:13
  • host文件配置

     /etc/hosts文件若没配置好,会引起一系列不见遇见的问题,有时候会在这些问题上面花费较多的时间.

 

hadoop@PC3GD000516:/usr/local/hadoop$ more /etc/hosts
127.0.0.1	localhost
192.168.215.85  master pc-name0
192.168.215.201 slave1 pc-name1
192.168.215.202 slave2 pc-name2
#127.0.1.1	 pc-name0

要点: 

 

  1. 主从机器的IP要配置好,包括机器别名(如slave1)/机器实体名(如pc-name1)
  2. 同时本机的 127.0.0.1 不要配置机器名,要注释掉
  • hadoop 数据临时目录配置

     

<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop/tmp</value>
</property>

 

        hadoop配置文件 core-site.xml 配置尽量手动配置这个选项,否则的话都默认存在了里系统的默认临时文件/tmp里。这用于记录dfs namenode的相关节点信息,如一些格式化信息等.如果使用默认临时文件路径/tmp的话,每次重启服务器后,就要重新 dfsadmin namenode -format 一次了,数据也丢失了.

 

hadoop环境搭建hbase的一些问题

最近在学习hadoop的相关的工具,首先从环境入手,发现一些在搭建过程中遇到的一些问题,现在总结一下。 1,hadoop的hdfs的问题,主要是进行多次格式化造成的 dfs的data,中的...
  • Losteng
  • Losteng
  • 2016年06月30日 15:33
  • 397

Hadoop+HBase+ZooKeeper分布式集群环境搭建

一、环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: ...
  • Baple
  • Baple
  • 2017年04月05日 15:15
  • 607

Hadoop集群之 ZooKeeper和Hbase环境搭建

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境...

hadoop、hbase、zookeeper环境搭建(详细)

一 机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & h...

hadoop、zookeeper、hbase、spark集群环境搭建

本文详细讲解如何搭建Hadoop、zookeeper、Hbase和Spark的集群环境,这里我是在本地虚拟机上搭建的集群,但是和实际环境的配置差不多。我会从零开始搭建并且尽量写得详细,所以还会讲到很多...

Hadoop 、Hbase、zookeeper 集群环境搭建

一 、机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & hb...

云计算环境搭建: hadoop-1.1.2 + zookeeper-3.4.5 + hbase-0.94.7

看了长时间的原理和机制,终于有了两天闲工夫,系统的实施一下环境搭建。综合参考官网文档以及其他版本安装的脚步,写下来,加深一下自己的理解与记忆。 清口水果: 1. 安装JDK,配置环境变量,java...

hadoop+hbase+zookeeper环境搭建过程总结

安装的环境要求:我用的是x86_64的CentOS6.3 linux操作系统,安装过程很简单,一路默认即可。      搭建开发环境是学习一门新技术的首先要面对的,当然技术的选型也是相当重要,刚开...

Hadoop-2.7.2&Hbase-1.2.2&Hive1.2.1(远程模式)&zookeeper-3.4.8全分布式环境搭建

一、环境: 1、centos6.5 64Bit 2、jdk7 3、haddop集群结构: master : 192.168.19.129 slave1 : 192.268.1...

Hadoop+Hbase+Zookeeper集群环境搭建

hadoop+hbase+zookeeper集群环境搭建配置文档
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hadoop+zookeeper+hbase环境搭建的一些问题
举报原因:
原因补充:

(最多只允许输入30个字)