伪分布式集群环境hadoop、hbase、zookeeper搭建

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/qq_38799155/article/details/78495323

环境说明 

1、操作系统centos 6.5

2、jdk-7u51-linux-x64.tar.gz  

hadoop-1.1.2.tar.gz 

hbase-0.94.7-security.tar.gz  

zookeeper-3.4.5.tar.gz

设置IP地址

设置静态ip

执行

  1. vim /etc/sysconfig/network-scripts/ifcfg-eth0  
  2. DEVICE=”eth0”  
  3. BOOTPROTO=”static”  
  4. ONBOOT=”yes”  
  5. TYPE=”Ethernet”  
  6. IPADDR=”192.168.40.137”  
  7. PREFIX=”24”  
  8. GATEWAY=”192.168.40.2”  
vim /etc/sysconfig/network-scripts/ifcfg-eth0
DEVICE="eth0"
BOOTPROTO="static"
ONBOOT="yes"
TYPE="Ethernet"
IPADDR="192.168.40.137"
PREFIX="24"
GATEWAY="192.168.40.2"

设置静态ip后不能上网,有待高手指点

关闭防火墙

  • 执行命令 service iptables stop
  • 验证: service iptables status
  • 关闭防火墙的自动运行
  • 执行命令 chkconfig iptables off
  • 验证: chkconfig –list | grep iptables

设置主机名

执行命令

  • (1)hostname m
  • (2)vi /etc/sysconfig/network

设置ssh免密码登陆

执行命令 (1)ssh-keygen -t rsa
(2)cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys
验证: ssh chaoren

安装jdk

执行命令

  • (1)cd /usr/local (注意linux下的文件权限问题)
  • (2)mv dk-7u51-linux-x64  jdk
  • (3)vi /etc/profile 增加内容如下:
  1. export JAVA_HOME=/opt/jdk  
  2. export PATH=JAVAHOME/bin:PATH  
  3. export CLASSPATH=.:JAVAHOME/lib/tools.jar:JAVA_HOME/lib/dt.jar:$CLASSPATH  
export JAVA_HOME=/opt/jdk
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:$CLASSPATH
  • (4)source /etc/profile
  • 验证: java -version

安装hadoop

  • 执行命令 (1)tar -zxvf hadoop-1.1.2.tar.gz
  • (2)mv hadoop-1.1.2 hadoop
  • (3)vi /etc/profile 增加内容如下:
  1. export JAVA_HOME=/usr/local/jdk  
  2. export HADOOP_HOME=/usr/local/hadoop  
  3. export PATH=.:HADOOPHOME/bin:JAVA_HOME/bin:$PATH  
export JAVA_HOME=/usr/local/jdk
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH
  • (4)source /etc/profile
  • (5)修改conf目录下的配置文件
  1. 1.hadoop-env.sh  
  2. export JAVA_HOME=/usr/local/jdk/  
  3.   
  4. 2.core-site.xml  
  5. <configuration>  
  6.     <property>  
  7.         <name>fs.default.name</name>  
  8.         <value>hdfs://m:9000</value>  
  9.     </property>  
  10.     <property>  
  11.         <name>hadoop.tmp.dir</name>  
  12.         <value>/usr/local/hadoop/tmp</value>  
  13.     </property>    
  14. </configuration>  
  15. 3.hdfs-site.xml  
  16. <configuration>  
  17.     <property>  
  18.         <name>dfs.replication</name>  
  19.         <value>1</value>  
  20.     </property>  
  21.     <property>  
  22.         <name>dfs.permissions</name>  
  23.         <value>false</value>  
  24.     </property>  
  25. </configuration>  
  26.   
  27. 4.mapred-site.xml  
  28. <configuration>  
  29.     <property>  
  30.         <name>mapred.job.tracker</name>  
  31.         <value>m:9001</value>  
  32.     </property>  
  33. </configuration>  
1.hadoop-env.sh
export JAVA_HOME=/usr/local/jdk/

2.core-site.xml
<configuration>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://m:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoop/tmp</value>
    </property>  
</configuration>
3.hdfs-site.xml
<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.permissions</name>
        <value>false</value>
    </property>
</configuration>

4.mapred-site.xml
<configuration>
    <property>
        <name>mapred.job.tracker</name>
        <value>m:9001</value>
    </property>
</configuration>
  • (6)hadoop namenode -format
  • (7)$HADOOP_HOME/bin/start-all.sh
  • 验证: (1)执行命令jps 如果看到5个新的java进程,分别是NameNode、SecondaryNameNode、DataNode、JobTracker、TaskTracker
  • (2)在浏览器查看,http://m:50070  http://m:50030  

2安装zookeeper

  • zk服务器集群规模不小于3个节点,要求各服务器之间系统时间要保持一致。
  • m的/usr/local目录下,解压缩zk….tar.gz,设置环境变量
  • 在conf目录下,修改文件 vi zoo_sample.cfg  zoo.cfg
  • 编辑该文件,执行vi zoo.cfg
  • 修改dataDir=/usr/local/zk/data
  • 新增server.0=m:2888:3888
  • 创建文件夹mkdir /usr/local/zk/data
  • 在data目录下,创建文件myid,值为0
  • 启动,在三个节点上分别执行命令zkServer.sh start
  • 检验,在三个节点上分别执行命令zkServer.sh status

3安装hbase

  • 在hadoop0上解压缩、重命名、设置环境变量HBASE_HOME
  • 修改文件$HBASE_HOME/conf/hbase-env.sh,修改内容如下
  • export JAVA_HOME=/usr/local/jdk
  • export HBASE_MANAGES_ZK=true
  • 修改文件hbase-site.xml,修改内容如下

  1. <property>  
  2.       <name>hbase.rootdir</name>  
  3.       <value>hdfs://m:9000/hbase</value>  
  4.     </property>  
  5.     <property>  
  6.       <name>hbase.cluster.distributed</name>  
  7.       <value>true</value>  
  8.     </property>  
  9.     <property>  
  10.       <name>hbase.zookeeper.quorum</name>  
  11.       <value>m</value>  
  12.     </property>  
  13.     <property>  
  14.       <name>dfs.replication</name>  
  15.       <value>1</value>  
  16.     </property>  
<property>
      <name>hbase.rootdir</name>
      <value>hdfs://m:9000/hbase</value>
    </property>
    <property>
      <name>hbase.cluster.distributed</name>
      <value>true</value>
    </property>
    <property>
      <name>hbase.zookeeper.quorum</name>
      <value>m</value>
    </property>
    <property>
      <name>dfs.replication</name>
      <value>1</value>
    </property>

  • (可选)修改regionservers,具体操作见ppt
  • 启动,执行命令start-hbase.sh
    注意:启动hbase之前要先启动hadoop,确保hadoop可写入数据。

笔者推荐:Hbase完全分布式高可用集群安装配置

展开阅读全文

没有更多推荐了,返回首页