Hadoop/Hbase在windows下的安装笔记

1.Hadoop 安装，见：
https://blog.csdn.net/sinat_34070003/article/details/79676993

2.ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

zookeeper的运行依赖java运行环境。以windows10为例：右击此电脑——属性——高级系统设置。

1. 

2. 
   

3. 
   

4. 
   

5. 
   

6. 
   

7. 点击下面的环境变量，进入后在系统变量一栏点击新建，然后输入如下：

   名称：JAVA_HOME

   变量值：jdk安装目录

   同理：

   在上面的一栏中点击新建，内容如下：

   名称：CLASS_PATH

   变量值：.;%JAVA_HOME%\lib;%JAVA_HOME%\lib\tools.jar

   一定要注意所有符号都是英文状态的。

   在系统环境变量中有一个path的环境变量，选中后选择编辑，将JAVA_HOME添加进去即可，如图：在最后加上;%JAVA_HOME%\bin;

   

8. 测试java环境是否配置成功

   使用win+R键，输入cmd调出命令符控制窗口。输入：java -version 后查看是否显示版本即可。

1. 接下来去Apache官网下载zookeeper   http://zookeeper.apache.org/releases.htmls
2. 

3. 
   

4. 
   

5. 找到解压路径的conf 文件夹，在里面复制一份zoo_sample.cfg并重命名为zoo.cfg文件。

6. 

7. 
   

8. 
   

9. 找到解压路径的bin 文件夹，找到里面的执行文件。windows下是zkServer.cmd，运行，出现下面界面说明成功。

   
10. 
    

2.HBase 安装及改动

Hadoop配置改动：

core-site.xml配置：

<configuration>

    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

</configuration>

hdfs-site.xml配置

<configuration>
<property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>

    <property>    
        <name>dfs.namenode.name.dir</name>    
        <value>/D:/hadoop-2.9.0/workplace/hdfs/namenode</value>    
    </property>    
    <property>    
        <name>dfs.datanode.data.dir</name>    
        <value>/D:/hadoop-2.9.0/workplace/hdfs/datanode</value>  
    </property>
</configuration>

mapred-site.xml配置

<configuration>
<property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

yarn-site.xml配置

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

Hbase配置：

hbase-site.xml配置

<configuration>
<property>  
<name>hbase.rootdir</name>  
<value>hdfs://localhost:9000/hbase</value>  
</property> 
<property>  
<name>hbase.master.info.port</name>  
<value>60010</value>  
</property> 
</configuration>

hbase-env.sh 配置

export JAVA_HOME=C:/Program Files/Java/jdk1.8.0_102

export HBASE_CLASSPATH=D:/hbase-1.2.6

hbase-env.cmd:

set JAVA_HOME=C:/Program Files/Java/jdk1.8.0_102

set HBASE_CLASSPATH=D:/hbase-1.2.6

最后，启动Hadoop；

1.运行cmd窗口，执行“hdfs namenode -format”； 
2.运行cmd窗口，切换到hadoop的sbin目录，执行“start-all.cmd”，它将会启动以下进程。

启动Hbase：

切换到bin目录下，start-hbase.cmd

thrift服务

hbase本身已经集成了thrift，使用以下命令开启hbase thrift的服务器端。关闭是将start修改为stop即可。默认情况下监听9090端口。

[python]  view plain  copy

1. hbase-daemon.sh start thrift2  
2. hbase-daemons.sh start thrift2 (集群版本)  

说明：
1. 通过--config可以指定多个集群（copy 不同集群的配置文件至该服务器不同目录）
2. 通过-p可以指定不同的端口(不适用该参数，端口默认为9095)
3. 和thrift端口相关的还有一个属性，可在hbase-site.xml文件中添加、修改：hbase.thrift.info.port ，默认值是9090，所以同一台上启动多个thrift时，还要修改hbase-site.xml中该属性值

windows下为 

hbase.cmd thrift2 start --infoport 9095 -p 9090

博主QQ: 122209017