hadoop+zookeeper+hbase环境搭建的一些问题

原创 2013年12月05日 16:08:13
  • host文件配置

     /etc/hosts文件若没配置好,会引起一系列不见遇见的问题,有时候会在这些问题上面花费较多的时间.

 

hadoop@PC3GD000516:/usr/local/hadoop$ more /etc/hosts
127.0.0.1	localhost
192.168.215.85  master pc-name0
192.168.215.201 slave1 pc-name1
192.168.215.202 slave2 pc-name2
#127.0.1.1	 pc-name0

要点: 

 

  1. 主从机器的IP要配置好,包括机器别名(如slave1)/机器实体名(如pc-name1)
  2. 同时本机的 127.0.0.1 不要配置机器名,要注释掉
  • hadoop 数据临时目录配置

     

<property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/hadoop/tmp</value>
</property>

 

        hadoop配置文件 core-site.xml 配置尽量手动配置这个选项,否则的话都默认存在了里系统的默认临时文件/tmp里。这用于记录dfs namenode的相关节点信息,如一些格式化信息等.如果使用默认临时文件路径/tmp的话,每次重启服务器后,就要重新 dfsadmin namenode -format 一次了,数据也丢失了.

 

版权声明:本文为博主原创文章,未经博主允许不得转载。

相关文章推荐

hadoop、hbase、zookeeper环境搭建(详细)

一 机器 192.168.0.203 hd203: hadoop namenode & hbase HMaster 192.168.0.204 hd204: hadoop datanode & h...

Hadoop+HBase+ZooKeeper分布式集群环境搭建

一、环境说明 集群环境至少需要3个节点(也就是3台服务器设备):1个Master,2个Slave,节点之间局域网连接,可以相互ping通,下面举例说明,配置节点IP分配如下: ...
  • Baple
  • Baple
  • 2017-04-05 15:15
  • 454

Hadoop集群之 ZooKeeper和Hbase环境搭建

前面讲解了Hadoop完全分布式的搭建,本章主要讲解一下在Hadoop完全分布式已经搭建成功的情况下搭建ZooKeeper和Hbase环境

云计算环境搭建: hadoop-1.1.2 + zookeeper-3.4.5 + hbase-0.94.7

看了长时间的原理和机制,终于有了两天闲工夫,系统的实施一下环境搭建。综合参考官网文档以及其他版本安装的脚步,写下来,加深一下自己的理解与记忆。 清口水果: 1. 安装JDK,配置环境变量,java...

Hadoop+Hbase+Zookeeper集群环境搭建

hadoop+hbase+zookeeper集群环境搭建配置文档

hadoop+hbase+zookeeper环境搭建过程总结

安装的环境要求:我用的是x86_64的CentOS6.3 linux操作系统,安装过程很简单,一路默认即可。      搭建开发环境是学习一门新技术的首先要面对的,当然技术的选型也是相当重要,刚开...

Mac系统下,Hadoop 2.6.2 + ZooKeeper 3.4.6 + HBase 1.1.5 完全分布式环境搭建

简介         HBase是Apache Hadoop的数据库,能够对大数据提供随机、实时的读写访问功能,具有开源、分布式、可扩展及面向列存储的特点。HBase是由Chang等人基于Goog...

Hadoop-2.7.2&Hbase-1.2.2&Hive1.2.1(远程模式)&zookeeper-3.4.8全分布式环境搭建

一、环境: 1、centos6.5 64Bit 2、jdk7 3、haddop集群结构: master : 192.168.19.129 slave1 : 192.268.1...

hadoop、zookeeper、hbase、spark集群环境搭建

本文详细讲解如何搭建hadoop、zookeeper、hbase和spark的集群环境,这里我是在本地虚拟机上搭建的集群,但是和实际环境的配置差不多。我会从零开始搭建并且尽量写得详细,所以还会讲到很多...
  • Trigl
  • Trigl
  • 2016-09-13 09:44
  • 4667

hadoop+hbase+zookeeper完全分布式环境搭建

最近一直在研究Hadoop,遇到了很多问题,把自己的一些心得写下来与大家分享一下。 一开始的时候,准备在windows环境下搭建Hadoop环境,因为毕竟Linux环境不太熟很多东西不会,搭了一个多...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)