Hadoop2.7.5-HBase1.2.6伪分布式安装

最新推荐文章于 2022-06-12 19:04:02 发布
最新推荐文章于 2022-06-12 19:04:02 发布
阅读量2.1k 收藏 9
点赞数 1
分类专栏： Java 大数据框架 文章标签： 大数据 hadoop hbase
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011669700/article/details/79470769
版权

Hadoop2.7.5-HBase1.2.6伪分布式安装

本文已经转换成为pdf格式，下载地址为：https://download.csdn.net/download/u011669700/10273667

本次软件安装包都默认装在 /root/bigdata目录下：

本机配置的软件版本分别为
1. Java - java1.8.0_161
2. Hadoop - hadoop2.7.5
3. Zookeeper - zoopkeeper3.4.11
4. Hbase - hbase1.2.6

QQ截图20180307143009.png-14.2kB

一、安装Java

1.1 解压Java安装包

tar -zxvf jdk-8u161-linux-x64.tar.gz

1.2 导入环境变量

编辑配置文件

vim /etc/profile

输入以下内容

export JAVA_HOME=/root/bigdata/jdk1.8.0_161
export PATH=$JAVA_HOME/bin:$PATH

之后使用命令

source /etc/profile

使得修改后的配置文件生效。

1.3 检查Java是否导入

java -version

如果看到以下信息则表示安装成功

java version "1.8.0_161"
Java(TM) SE Runtime Environment (build 1.8.0_161-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.161-b12, mixed mode)

如果没有看到则检查路径是否正确。

二、安装Hadoop

2.1 解压安装包

tar -zxvf hadoop-2.7.5.tar.gz

2.2 配置环境变量

使用vim /etc/profile
添加以下内容

# Hadoop的安装路径
export HADOOP_HOME=/root/bigdata/hadoop-2.7.5
export PATH=$HADOOP_HOME/sbin:$PATH
export PATH=$HADOOP_HOME/bin:$PATH

# 以下两行最好加上，若没有启动Hadoop、hbase时都会有没加载lib成功的警告
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"

2.3 配置hadoop-env.sh、yarn-env.sh

这两个文件均在安装目录下，在本文中，这两个文件的地址分别为：

  • /root/bigdata/hadoop-2.7.5/etc/hadoop/hadoop-env.sh
  • /root/bigdata/hadoop-2.7.5/etc/hadoop/yarn-env.sh

使用vim编辑这两个文件，在其中添加如下内容：

# Java 安装目录
export JAVA_HOME=/root/bigdata/jdk1.8.0_161

2.4 查看IP地址并配置host文件

输入以下命令查看IP地址：

ifconfig

如果看到如下信息：

eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
    inet 192.168.10.5  netmask 255.255.255.0  broadcast 192.168.10.255

其中inet后面所跟的IP地址为本机的IP地址。

接下来修改host文件vim /etc/hosts

192.168.10.5 master

做一个ip和域名的映射，接下来使用Ping命令查看是否映射成功

ping master

如果看到如下的后缀信息，则成功：

icmp_seq=1 ttl=64 time=0.032 ms
icmp_seq=2 ttl=64 time=0.032 ms
...

2.5 配置基本相关xml

2.5.1 配置core-site.xml

在Hadoop安装目录下 编辑 vim etc/hadoop/core-site.xml

<configuration>
    <property> 
        <name>fs.defaultFS</name> <!--NameNode 的URI-->
        <value>hdfs://master:9000</value> 
    </property> 
    <property> 
        <name>hadoop.tmp.dir</name> <!--hadoop临时文件的存放目录-->
        <value>/root/bigdata/hadoop2.7.5/temp</value> 
    </property> 
</configuration>

2.5.2 配置hdfs-site.xml

在Hadoop安装目录下 编辑 vim etc/hadoop/hdfs-site.xml

<configuration>
    <property> <!--namenode持久存储名字空间及事务日志的本地文件系统路径--> 
        <name>dfs.namenode.name.dir</name> 
        <value>/root/bigdata/hadoop2.7.5/dfs/name</value> 
        <!--目录无需预先创建，会自动创建-->
    </property> 

    <property>  <!--DataNode存放块数据的本地文件系统路径--> 
        <name>dfs.datanode.data.dir</name>
        <value>/root/bigdata/hadoop2.7.5/dfs/data</value> 
    </property> 

    <property>  <!--数据需要备份的数量，不能大于集群的机器数量，默认为3-->
        <name>dfs.replication</name>
        <value>1</value> 
    </property>

    <property> 
        <name>dfs.namenode.secondary.http-address</name> 
        <value>master:9001</value> 
    </property> 

    <property>  <!--设置为true，可以在浏览器中IP+port查看--> 
        <name>dfs.webhdfs.enabled</name>
        <value>true</value> 
    </property> 
</configuration>

2.5.3 配置mapred-site.xml

在Hadoop安装目录下 编辑 vim etc/hadoop/mapred-site.xml

<configuration>
    <property> <!--mapreduce运用了yarn框架，设置name为yarn--> 
        <name>mapreduce.framework.name</name> 
        <value>yarn</value> 
    </property> 

    <property> <!--历史服务器,查看Mapreduce作业记录--> 
        <name>mapreduce.jobhistory.address</name> 
        <value>master:10020</value> 
    </property> 

    <property> 
        <name>mapreduce.jobhistory.webapp.address</name> 
        <value>master:19888</value> 
    </property> 
</configuration>

2.5.4 配置yarn-site.xml

在Hadoop安装目录下 编辑 vim etc/hadoop/yarn-site.xml

<configuration>  
    <property> <!--NodeManager上运行的附属服务，用于运行mapreduce--> 
        <name>yarn.nodemanager.aux-services</name> 
        <value>mapreduce_shuffle</value> 
    </property> 

    <property> 
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
        <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
    </property> 

    <property> <!--ResourceManager 对客户端暴露的地址--> 
        <name>yarn.resourcemanager.address</name> 
        <value>master:8032</value> 
    </property> 

    <property> <!--ResourceManager 对ApplicationMaster暴露的地址-->  
        <name>yarn.resourcemanager.scheduler.address</name> 
        <value>master:8030</value> 
    </property> 

    <property> <!--ResourceManager 对NodeManager暴露的地址--> 
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>master:8031</value> 
    </property> 

    <property> <!--ResourceManager 对管理员暴露的地址--> 
        <name>yarn.resourcemanager.admin.address</name>   
        <value>master:8033</value> 
    </property> 

    <property> <!--ResourceManager 对外web暴露的地址，可在浏览器查看-->   
        <name>yarn.resourcemanager.webapp.address</name> 
        <value>master:8034</value> 
    </property> 
</configuration>

2.6 配置slaves文件

在Hadoop安装目录下，编辑vim etc/hadoop/slaves

去除默认的localhost，加入master ，保存退出。

如果是分布式， 则在其中添加 slave节点的ip地址，或者做IP映射之后的名称，例如slave1等等

再通过远程复制命令scp，将配置好的Hadoop复制到各个节点对应位置
例如：
scp -r /opt/hadoop-2.7.3 192.168.172.72:/opt/hadoop-2.7.3

2.7 Hadoop的启动与停止

2.7.1 启动

在Master服务器启动hadoop，从节点会自动启动，进入Hadoop目录下

输入命令，bin/hdfs namenode -format进行hdfs格式化

输入命令，sbin/start-all.sh，进行启动
也可以分开启动，sbin/start-dfs.sh、sbin/start-yarn.sh

之后输入jps，查看运行在jvm上面的进程。
这里搭建的是伪分布式，所以看到如下内容则证明运行成功：

18081 NodeManager
17334 DataNode
17561 SecondaryNameNode
17178 NameNode
18237 Jps
17775 ResourceManager

如果是分布式环境：

  • master上应该看到ResourceManager、NameNode、SecondaryNameNode进程
  • slave上应该看到DataNode、NodeManager进程

在浏览器中输入地址:
1. http://master:50070查看master状态
QQ截图20180307134030.png-91.9kB
2. http://master:8034查看集群状态
QQ截图20180307134227.png-107.5kB

2.7.2 停止服务

进入Hadoop目录下，输入命令：sbin/stop-all.sh，即可停止Hadoop进程

三、zookeeper安装

3.1 解压

tar -zxvf zookeeper-3.4.11.tar.gz

3.2 修改zookeeper配置文件

进入zookeeper的目录，修改配置文件

cp conf/zoo_sample.cfg conf/zoo.cfg

使用vim conf/zoo.cfg中的文件内容：

tickTime=2000
initLimit=10
syncLimit=5
dataDir=/root/bigdata/zookeeper-3.4.11/data
dataLogDir=/root/bigdata/zookeeper-3.4.11/logs
clientPort=2181
server.1=u04rtv01.yaya.corp:2888:3888

3.3 创建data和Log文件夹

mkdir data
mkdir log

3.4 在zoo.cfg中的dataDir指定的目录下，新建myid文件

例如：$ZK_INSTALL/data下，新建myid。在myid文件中输入1。表示为server.1。
如果为snapshot/d_2，则myid文件中的内容为 2，依此类推。

vim data/myid

3.5 启动和停止

3.5.1 启动

bin/zkServer.sh start

在启动之后可以使用bin/zkServer.sh status来查看运行状态，在本机状态如下：

ZooKeeper JMX enabled by default
Using config: /root/bigdata/zookeeper-3.4.11/bin/../conf/zoo.cfg
Mode: standalone

3.5.2 停止

bin/zkServer.sh stop

3.5.3 连接Zookeeper

# 适用于Java开发
bin/zkCli.sh -server 127.0.0.1:2181

四、HBase

4.1 解压

tar -zxvf hbase-1.2.6-bin.tar.gz

4.2 配置环境变量

使用命令vim /etc/profile:

export HBASE_HOME=/root/bigdata/hbase-1.2.6
export PATH=$HBASE_HOME/bin:$PATH

4.3 配置conf/hbase-env.sh

vim /root/bigdata/hbase-1.2.6/conf/hbase-env.sh在其中加入Java环境变量

# Java 安装目录
export JAVA_HOME=/root/bigdata/jdk1.8.0_161
# 如果使用自带的zookeeper则删除下行注释使用hbase自带zookeeper
# export HBASE_MANAGES_ZK=true

4.4 配置hbase-site.xml

在conf目录下:

<configuration>
    <property> 
        <name>hbase.rootdir</name> <!-- hbase存放数据目录 -->
        <value>hdfs://master:9000/opt/hbase/hbase_db</value>
        <!-- 端口要和Hadoop的fs.defaultFS端口一致-->
    </property> 

    <property> 
        <name>hbase.cluster.distributed</name> <!-- 是否分布式部署 -->
        <value>true</value> 
    </property> 

    <property> 
        <name>hbase.zookeeper.quorum</name> <!-- list of  zookooper -->
        <value>master</value> 
    </property>     

    <property><!--zookooper配置、日志等的存储位置 -->
        <name>hbase.zookeeper.property.dataDir</name> 
        <value>/root/bigdata/zookeeper-3.4.11/data</value>
    </property>

</configuration>

4.5 配置regionservers

编辑 vim hbase-1.2.6/conf/regionservers 去掉默认的localhost，加入master

如果为分布式 加入slave1、slave2，保存退出
然后把在master上配置好的hbase，通过远程复制命令
scp -r /opt/hbase-1.2.6 192.168.172.72/73:/opt/hbase-1.2.6
复制到slave1、slave2对应的位置

4.6 启动与停止Hbase

4.6.1 启动

在Hadoop已经启动成功的基础上，输入start-hbase.sh，过几秒钟便启动完成，接下来使用jps查看运行进程：

18081 NodeManager
22341 HRegionServer
22805 Jps
17334 DataNode
19878 QuorumPeerMain
22168 HMaster
17561 SecondaryNameNode
17178 NameNode
17775 ResourceManager

看到额外的HMaster、HQuormPeer、HRegionServer、HQuorumPeer进程则是启动成功。

如果是分布式，这应该在：
master节点上看到HMaster、HQuormPeer服务
slave节点上看到HRegionServer、HQuorumPeer服务

4.6.2 停止

使用bin/stop-hbase.sh命令即可停止Hbase服务

4.6.3 hbase shell

输入hbase shell命令之后，就可以进入hbase命令模式，在命令行模式下键入status即可查看当前信息，本机的信息状态为：

1 active master, 0 backup masters, 1 servers, 0 dead, 2.0000 average load

使用exit命令就可以退出命令行模式。

参考链接：

  1. https://www.cnblogs.com/lzxlfly/p/7221890.html
  2. http://blog.csdn.net/reblue520/article/details/52279486
寒沧
关注
专栏目录
Hadoop+hbase伪分布式安装，及配置优化
keeper的博客
03-21 473
环境 操作系统：centos7 Jdk：1.8.0_25 Hadoop：2.7.5 Hbase：1.2.6 hadoop安装 Jdk安装及环境变量配置：略 Hadoop安装 下载hadoop-2.7.5.tar.gz解压 进入/usr/local/hadoop/etc/hadoop 打开文件Vim hadoop-env.sh 搜索export JAVA_HOME，修改成自己的
Hadoop+hbase+zookeeper完全分布式搭建
keeper的博客
05-21 4367
Hadoop+hbase+zookeeper完全分布式搭建 一．环境说明 集群环境至少需要3个节点（也就是3台服务器设备）：1个Master，2个Slave，节点之间局域网连接，可以相互ping通，下面举例说明，配置节点IP分配如下： Hostname IP User Password master...
【hadoop】伪分布式HBase的安装
weixin_43966900的博客
12-24 274
1.配置环境变量(解压到/usr/local下) mv /usr/local/hbase-1.1.5 /usr/local/hbase vim ~/.bashrc export PATH=$PATH:/usr/local/hadoop/sbin:/usr/local/hadoop/bin:/usr/local/hbase/bin source ~/.bashrc 2.配置hbase-env.sh vim /usr/local/hbase/conf/hbase-env.sh export JAVA_HOM
基于Hadoop的hbase安装
CSDNwzl的博客
11-23 1814
hadoop 2.7.1 hbase 1.2.7 hadoop安装 export JAVA_HOME="/home/xxxx/java/jdk1.8.0_221" export HADOOP_HOME="/home/xxxx/hadoop-2.8/hadoop-2.8.5" export HBASE_HOME="/home/xxxx/backup/hbase-1.4/hbase-1.4.13" export PATH="${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HBA.
在Windows上的虚拟机安装Hadoop伪分布式系统（三）
for_yayun的博客
04-21 343
接上一篇文章 在上一篇文章中遗漏了一个core-site的配置文件 这个是改默认的名字为自己需要的，其效果在如下： 好了接下来 说接着上一篇文章写： 开始 启动jobhistory 命令： sbin/mr-jobhistory-daemon.sh start historyserver 运行mapreduce 创建一个输出目录 命令：bin/hdfs dfs -mkdir -p /user/...
Hadoop-2.7.1伪分布--安装配置hbase 1.1.2
weixin_30318645的博客
12-21 125
hbase-1.1.2下载地址：http://www.eu.apache.org/dist/hbase/stable/hbase-1.1.2-bin.tar.gz 下载之后解压至\usr\local目录下 （ 进入 hbase 的 lib 目录，会发现与 hadoop 的版本号不一致,查看 hadoop jar 包的版本需要用 hadoop 目录下的 jar 替换 hbase/lib 目录...
hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程
03-16
hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程 hadoop-2.7.5,hbase1.2.6.zookeeper.3.3.6完全分布式安装教程
hbase在linux系统上伪分布式安装配置
刘寒的技术blog
09-28 355
1 修改hbase-site.xml文件： &lt;property&gt; &lt;name&gt;hbase.cluster.distributed&lt;/name&gt; &lt;value&gt;true&lt;/value&gt; &lt;/property&gt; &lt;property&gt; &lt;name&gt;hbase.rootdir&lt;
windows hadoop2.7.5版本运行环境
04-03
欢迎大家前来下载
虚拟机Ubuntu18.04下安装HBase环境以及测试伪分布式
qq_43555009的博客
03-29 469
虚拟机Ubuntu18.04下安装HBase环境以及测试伪分布式 本章博客为按照厦大林子雨教授的教程配置，为自己学习以及复习使用，侵权删除。 HBase2.2.2安装和编程实践指南 ...
伪分布式部署HBase（基于伪分布式Hadoop）
YongYu_IT的专栏
06-13 368
$ wget http://mirror.bit.edu.cn/apache/hbase/2.1.5/hbase-2.1.5-bin.tar.gz $ tar -zxvf hbase-2.1.5-bin.tar.gz $ cd hbase-2.1.5/conf $ gedit hbase-site.xml # #<property> # <name>hbase.clus...
Hadoop-2.7.3下安装Hbase-1.2.6
Brent的专栏
09-07 3111
1.环境信息 操作系统信息如下: 1[hadoop@hadoop1 soft]$ uname -a2Linux hadoop1 2.6.32-358.el6.x86_64 #1 SMP Fri Feb 22 00:31:26 UTC 2013 x86_64 x86_64 x86_64 GNU/Linux3[hadoop@hadoop1 soft]$ cat /etc/redha
Hbase配置之-伪分布式
yandao的博客
06-12 1314
HBASE-伪分布式
Hbase安装与伪分布式配置
gsh_101的博客
04-25 5849
Hbase安装与配置 虚拟机：CentOS7 用户：root 下载Hbase安装包 所用下载镜像是北京外国语大学的下载镜像 https://mirrors.bfsu.edu.cn/apache/hbase/ wget --no-check-certificate https://mirrors.bfsu.edu.cn/apache/hbase/2.4.11/hbase-2.4.11-bin.tar.gz 解压安装包hbase-2.2.2-bin.tar.gz至路径 /usr/local，命令如下：
hadoop单机版、伪分布式、完全分布式部署、HBase 完全分布式部署
staforn的专栏
08-19 1844
1、hadoop单机版 https://www.jianshu.com/p/1352ce8c8d73 (Tested) 在hosts文件中进行主机的注册   什么也不配，所以配置什么也不改变，是单机模式。 下载 wget http://apache.fayea.com/hadoop/common/hadoop-2.8.0/hadoop-2.8.0.tar.gz 解压缩：tar xzvf ha...
Hadoop3.1.2伪分布式环境下安装和配置Hbase2.2.0
caojianhua2018的博客
02-07 1308
本篇属于Hadoop系列环境搭建系列，腾讯云或百度云上都有许多搭建好的环境可以直接用。不过亲自动手实践一下，收获肯定会更多一些。 目录 （1）软件环境准备 （2）HBASE安装及配置 （1）软件环境准备 Hadoop运行环境：即环境中已经能运行Hadoop。可以参见我的上一篇博文： 超详细的Hadoop3.1.2架构单机、伪分布式、完全分布式安装和配置：https://blog.csd...
Hadoop+Hbase+Zookeeper伪分布式集群实践初探和心得记录
克隆大菠萝的超市
09-27 2433
一.背景： 首先是为了配合开发同学搭建列数据库，Hbase环境作为测试，由于服务器资源有限，只能把所有组件都安装部署在同一台服务器上，同时需要启用zookeeper，所以为伪分布式集群模式。而大数据流行的今天，学习相关组件技术也是很有必要的。为了更好的了解每一个组件，甚至是每一条配置的具体作用和原理，这里我们采用每个不同组件单独部署，而非使用CDH（Cloudera）等集成环境安装包去进行一键式...
Hadoop2.7.5与HBase1.2.6伪分布式安装教程
本文档详细介绍了如何在本地机器上进行Hadoop 2.7.5与HBase 1.2.6的伪分布式安装过程。首先，安装所需的软件环境包括Java 1.8.0_161，因为Hadoop依赖于Java运行。以下是安装步骤： 1. 安装Java: - 下载并解压JDK...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值