hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)

hadoop +hbase+zookeeper 伪分布安装(超级无敌详细)

hadoop 配置

图片打不开的可以点击下方链接直接去图床查看,辣鸡CSDN

安装jdk

sudo apt update//更新安装源,为了安装快一点推荐安装阿里源
sudo apt install openjdk-8-jdk -y//安装jdk

查看Java的版本

安装SSH

sudo apt install openssh-server openssh-client -y	

创建Hadoop用户

创建Hadoop用户.用ssh生成私钥,传给Hadoop用户,使得可以做到免密登陆。

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa //生成私钥
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys //存储
chmod 0600 ~/.ssh/authorized_keys //更改权限给用户
ssh localhost //初始化

下载Hadoop

在下载的Hadoop用户下，执行如下shell命令，实现Hadoop的下载和解压。

wget https://downloads.apache.org/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz

tar xzf hadoop-3.2.1.tar.gz

配置Hadoop

第一步：配置相关路径

sudo vim .bashrc

输入如下的路径信息；

export HADOOP_HOME=/home/hdoop/hadoop-3.2.1
export HADOOP_INSTALL=$HADOOP_HOME
export HADOOP_MAPRED_HOME=$HADOOP_HOME
export HADOOP_COMMON_HOME=$HADOOP_HOME
export HADOOP_HDFS_HOME=$HADOOP_HOME
export YARN_HOME=$HADOOP_HOME
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

source ~/.bashrc //使得路径信息生效

第二步：配置相关文件

打开hadoop-env.sh这个文件，把我们的Java路径加入到路径中。

sudo vim $HADOOP_HOME/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64 //把这个路径加入到hadoop-env.sh文件中

如何查看自己的JAVA_home路径

which javac //会输出一个路径

readlink -f /路径

配置core-site.xml文件

sudo vim $HADOOP_HOME/etc/hadoop/core-site.xml

配置如下

<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/home/hdoop/tmpdata</value> <!--自己去创建一个tmpdata文件夹 -->
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://127.0.0.1:9000</value>
</property>

</configuration>

配置hdfs-site.xml

sudo vim $HADOOP_HOME/etc/hadoop/hdfs-site.xml

配置如下

<configuration>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hdoop/dfsdata/namenode</value>
</property>
<property>
  <name>dfs.data.dir</name>
  <value>/home/hdoop/dfsdata/datanode</value>
</property>
<property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>

配置mapred-site.xml

sudo vim $HADOOP_HOME/etc/hadoop/mapred-site.xml

配置如下

<configuration>
<property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
</property>
</configuration>
<hadoop-3.2.1/etc/

配置yarn-site.xml

sudo vim $HADOOP_HOME/etc/hadoop/yarn-site.xml

配置如下

<configuration>
<property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
</property>
<property>
  <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
  <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>127.0.0.1</value>
</property>
<property>
  <name>yarn.acl.enable</name>
  <value>0</value>
</property>
<property>
  <name>yarn.nodemanager.env-whitelist</name>   
  <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PERPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
</configuration>

格式化一下HDFS

hdfs namenode -format

启动Hadoop

切换到Hadoop3.2.1的sbin目录下

cd /home/hdoop/hadoop3.2.1/sbin
./stat-all.sh

到这里就算启动配置成功了。

jps		

查看运行的进程，出现如下证明Hadoop安装完毕了

hbase配置

同Hadoop的安装

sudo wget $这里换成你要下载的版本的网址，和Hadoop版本适配$
sudo tar zxvf {hbase-version}.tar.gz

配置相关文件

在你的Hbase安装的conf文件目录下/HBse/conf

sudo vim hbase-site.xml

配置如下

 <configuration>
   <property>
      <name>hbase.rootdir</name>
      <value>hdfs://localhost:9000/hbase</value>
      <!-- 不用改端口-->
   </property>
 <property>
      <name>hbase.rootdir</name>
      <value>hdfs://localhost:9000/hbase</value>
         <!-- 不用改端口-->
   </property>
   <property>
        <name>hbase.zookeeper.quorum</name>
        <value>127.0.0.1</value>
</property>
 <property>
        <name>hbase.zookeeper.property.clientPort</name>
        <value>9999</value>   <!-- 改端口-->
</property>
    <property>
      <name>hbase.zookeeper.property.dataDir</name>
      <value>/hadoop/zookeeper</value>
   </property>

   <property>
     <name>hbase.cluster.distributed</name>
     <value>true</value>
   </property>
  <property>
     <name>hbase.unsafe.stream.capability.enforce</name>
     <value>false</value>
</property>
    <property>
        <name>hbase.master</name>
        <value>60000</value><!-- 改端口-->
    </property>
</configuration>

这里的端口我是自己改过了，因为我得电脑端口上我看了有占用，所以就换了一个

配置hbase-env.sh

sudo vim hbase-env.sh

加入如下两行

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64/
#上面是JAVA_HOME路径
export HBASE_MANAGES_ZK=false
#不适用HBse的zookeeper，因为后面我要自己安装zookeeper(若不安装把false改为true)

HBase启动

cd 到Hbase/bin目录下
./start-hbase-sh

HBase路径可以添加也可以不添加。

zookeeper 配置

wget https://mirror-hk.koddos.net/apache/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz

版本可以自己选，这是我得版本，bin和没有bin的好像是一个编译成二进制了。

配置相关文件

这个文件比较好配置，因为系统提供了一个zoo_sample.cfg，所以我们只要复制过来就好了

cd zookeeper/conf目录下
cp zoo_sample.cfg zoo.cfg

复制过后，打开zoo.cfg文件

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=9999 #修改成上面的hbase配置一样的端口默认是2181，其他不用改
                    

配置完毕，启动zookeeper

cd 到zookeeper/bin 目录下
./zkServer.sh start 

都启动后会像如下

以上就完成了安装的全过程。

zoo_sample.cfg zoo.cfg

**复制过后，打开zoo.cfg文件**

```xml

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/tmp/zookeeper
clientPort=9999 #修改成上面的hbase配置一样的端口默认是2181，其他不用改
                    

配置完毕，启动zookeeper

cd 到zookeeper/bin 目录下
./zkServer.sh start 

以上就完成了安装的全过程。

以后的启动顺序：zookeeper->hadoop->hbase