伪分布式hadoop搭建步骤

1.从hadoop官方网站（hadoop.apache.org）下载hadoop安装包。解压缩后放到本地，非中文路径下。

2.修改hadoop目录etc/hadoop文件夹内相关配置文件。如果配置文件没有该属性，需要增加。

1）配置core-site.xml文件的defaultFS、hadoop.tmp.dir

<configuration>

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
</property>
<property>  
        <name>hadoop.tmp.dir</name>  
        <value>/home/xuefei/文档/hadoop-2.7.1/tmpdata</value>  
        <description>A base for other temporary directories.</description>  
</property>  
</configuration>

2）配置hdfs-site.xml的dfs.replication

    <property>
        <name>dfs.replication</name>
        <value>1</value>

    </property>

    

3）配置hadoop-env.sh的HADOOP_HOME、JAVA_HOME、HBASE_HOME（如果需要增加HBASE）

export HADOOP_HOME=/home/xuefei/文档/hadoop-2.7.1
export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64/jre

3.对namenode执行格式化操作。

hadoop namenode -format

4. 在hadoop目录sbin文件夹下，执行./start-all.sh，启动hdfs、yarn相关进程。也可配置环境变量，在shell里面直接输入start-all.sh等指令。

vi ~/.bashrc

export HADOOP_PATH_BIN=XXX

export HADOOP_PATH_SBIN=XXX

export PATH=$PATH:$HADOOP_PATH_BIN:$HADOOP_PATH_SBIN

5.执行start-all.sh，启动hdfs。创建HDFS的主文件夹。

start-all.sh

hdfs dfs -mkdir /user

hdfs dfs -mkdir /user/(username)

username为系统登录的用户名

6.配置hbase

1）下载hbase（https://hbase.apache.org/），解压缩到本地文件夹

2）配置conf/hbase-site.xml的hbase.rootdir和hbase.zookeeper.property.dataDir。这两个属性表明hbase、zookeeper向哪里写数据。

 <property>
    <name>hbase.rootdir</name>
    <value>/home/xuefei/hadoop-2.7.2/component/hbase-0.98.17-hadoop2/data</value>
  </property>
 <property>
    <name>hbase.zookeeper.property.dataDir</name>
    <value>/home/xuefei/hadoop-2.7.2/component/hbase-0.98.17-hadoop2/tmpzkdata</value>
  </property>

3）修改环境变量，使得在shell里面直接输入hbase命令

vi ~/.bashrc

export HBASE_PATH_BIN=XXX

export PATH=$PATH:$HBASE_PATH_BIN

4）启动hbase

./bin/start-hbase.sh

5）执行hbase shell

hbase shell