Hadoop集群搭建之四 CentOS7+JDK+Hadoop+zookeeper+HBase

最新推荐文章于 2020-03-02 10:05:54 发布
最新推荐文章于 2020-03-02 10:05:54 发布
阅读量645 收藏
点赞数 1
分类专栏： Hadoop CentOS 文章标签： hadoop zookeeper hbase centos jdk
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lmmmm5/article/details/76256045
版权

经过前三篇文章的准备，我们终于要开始安装Haoop集群了,废话不多说了，赶快开始吧

1.JDK安装

1)卸载CentOS7自带的openJDK

#rpm –qa | grep jdk      //查看系统已有的jdk

这里写图片描述

#yum –y remove java-1.8.0-openjdk-headless-1.8.0.102-4.b14.el7.x86_64
#yum –y remove java-1.8.0-openjdk-1.8.0.102-4.b14.el7.x86_64
#yum –y remove java-1.7.0-openjdk-headless-1.7.0.111-2.6.7.8.el7.x86_64
#yum –y remove java-1.7.0-openjdk-1.7.0.111-2.6.7.8.el7.x86_64

这里写图片描述
这里写图片描述

2)安装jdk1.8.0_131

#tar –zxvf jdk-8u131-linux-x64.tar.gz  -C /usr/local/hadoopenv/java/  //解压jdk-8u131-linux-x64.tar.gz

这里写图片描述
查看
这里写图片描述

#rm -rf jdk-8u131-linux-x64.tar.gz    //移除安装包

这里写图片描述

3)添加系统路径,修改环境变量

#vim /etc/bashrc

这里写图片描述
在文件末尾添加如下内容

export JAVA_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131
export JRE_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131/jre
export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib

这里写图片描述

4)检查jdk是否配置成功

$java -version

这里写图片描述

2.Hadoop安装

1)解压到指定目录

#tar -zxvf  hadoop-2.7.3.tar.gz  -C /usr/local/hadoopenv/

这里写图片描述

2)修改文件名

这里写图片描述

3) 修改文件权限

#chown –R hadoop:hadoop hadoop/       
 //将文件夹"hadoop"读权限分配给hadoop用户

这里写图片描述
这里写图片描述

4)删除hadoop-2.7.3.tar.gz 安装包

#rm –rf hadoop-2.7.3.tar.gz

这里写图片描述

5) 修改配置文件

(a)在/usr/local/hadoopenv/hadoop/目录下创建以下目录

$mkdir –p /usr/local/tmp/hadoopenv/dfs/name
$mkdir –p /usr/local/tmp/hadoopenv/dfs/data
$mkdir –p /usr/local/tmp/hadoopenv/dfs/temp
$mkdir –p /usr/local/tmp/hadoopenv/dfs/logs
$mkdir –p /usr/local/tmp/hadoopenv/dfs/pids

(b)修改core-site.xml

这里写图片描述
添加如下内容:

<property>
        <name>hadoop.tmp.dir</name>
        <value>/usr/local/hadoopenv/tmp/hadoop/ </value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://namenode:9000</value>
</property>

(c)修改hadoop-env.sh

这里写图片描述
在文件末尾添加

export JAVA_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131
export  HADOOP_LOG_DIR= /usr/local/hadoopenv/tmp/hadoop/dfs/logs
export  HADOOP_PID_DIR= /usr/local/hadoopenv/tmp/hadoop/dfs/pids

这里写图片描述

(d)修改hdfs-site.xml

这里写图片描述
在文件中添加

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoopenv/tmp/hadoop/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoopenv/tmp/hadoop/dfs/data</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>namenode:9001</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
</configuration>

这里写图片描述

(e)修改mapred-env.sh

#vim mapred-env.sh

这里写图片描述

添加如下内容

export  JAVA_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131
export  HADOOP_LOG_DIR= /usr/local/hadoopenv/tmp/hadoop/dfs/logs
export  HADOOP_PID_DIR= /usr/local/hadoopenv/tmp/hadoop/dfs/pids

这里写图片描述

(f)修改mapred-site.xml

这里写图片描述
添加如下内容

<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.job.tracker</name>
        <value>localhost:54311</value>
    </property> 
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>namenode:10020</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.http.address</name>
        <value>namenode:50030</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>namenode:19888</value>
    </property>

这里写图片描述

(g)修改slaves

修改文件内容
这里写图片描述

datanode1  //slave1的hostname名字
datanode2  //slave2的hostname名字

这里写图片描述

(h) 修改yarn-env.sh

这里写图片描述
在文件尾部添加如下内容

Export JAVA_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131
Export YARN_LOG_DIR=/usr/local/hadoopenv/

这里写图片描述

(i)修改yarn-site.xml文件

添加如下内容
这里写图片描述

<property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
          <name>yarn.resourcemanager.hostname</name>
          <value>namenode</value>
      </property>
    <property>  
        <name>yarn.resourcemanager.scheduler.address</name>  
        <value>namenode:8030</value>  
    </property>  
    <property>  
        <name>yarn.resourcemanager.resource-tracker.address</name>  
        <value>namenode:8031</value>  
    </property> 
    <property>
         <name>yarn.resourcemanager.address</name>
         <value>master:8032</value>
     </property>
    <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>master:8033</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>master:8088</value>
</property>

这里写图片描述

6) 格式化文件系统

hdfs namenode –format

7)启动hdfs和yarn

start-dfs.sh
start-yarn.sh

3.zookeeper安装

1)解压,重命名

这里写图片描述

tar –zxvf /home/hadoop/zookeeper-3.4.8.tar.gz   //解压缩
mv  zookeeper-3.4.8  zookeeper     //重命名
rm –rf /home/hadoop/zookeeper-3.4.8.tar.gz  //删除安装包

2)修改zoo.cfg

 #cp zoo_sample.cfg zoo.cfg

这里写图片描述

修改zoo.cfg

#vim zoo.cfg

这里写图片描述

添加以下内容

dataDir=/usr/local/hadoopenv/tmp/zookeeper/data
server.1=namenode:2888:3888
server.2=datanode1:2888:3888
server.3=datanode2:2888:3888

这里写图片描述

3)创建myid文件

mkdir -p /usr/local/hadoopenv/tmp/zookeeper/data
cd   /usr/local/hadoopenv/tmp/zookeeper/data
touch myid
echo 1 > myid

这里写图片描述

4)将配置好的zookeeper文件夹整个拷贝到其他机器上

scp -r /usr/local/hadoopenv/zookeeper/  root@datanode1:/usr/local/hadoopenv/
 scp -r /usr/local/hadoopenv/tmp/zookeeper/data/  root@datanode1: /usr/local/hadoopenv/tmp/zookeeper/
scp -r /usr/local/hadoopenv/zookeeper/  root@datanode2:/usr/local/hadoopenv/
scp -r /usr/local/hadoopenv/tmp/zookeeper/data/  root@datanode2: /usr/local/hadoopenv/tmp/zookeeper/

5)修改其他节点myid (与zoo.cfg中的配置相一致)

[root@datanode1 data]#echo 2 > myid
[root@datanode2 data]#echo 3 > myid

4.HBase安装

1)解压,重命名，删除压缩包

# tar -zxvf hbase-1.2.6-bin.tar.gz  -C /usr/local/hadoopenv/
#mv /usr/local/hadoopenv/hbase-1.2.6      /usr/local/hadoopenv/hbase  //重命名
#rm -rf hbase-1.2.6-bin.tar.gz

这里写图片描述
这里写图片描述这里写图片描述

2)修改Hbase-env.sh

#vim hbase-en.sh

这里写图片描述

在文件尾部添加以下内容

export JAVA_HOME=/usr/local/hadoopenv/java/jdk1.8.0_131/
export HBASE_CLASSPATH=/usr/local/hadoopenv/hbase
# Tell HBase whether it should manage it's own instance of Zookeeper or not.
export HBASE_MANAGES_ZK=false

这里写图片描述

3)修改hbase-site.xml

#vim hbase-site.xml

这里写图片描述
在文件中添加如下内容

<property>
        <name>hbase.rootdir</name>
        <value>hdfs://namenode:9000/hbase</value>
    </property>
    <property>
        <name>hbase.master</name>
        <value>namenode:60000</value>
    </property>
    <property>
        <name>hbase.zookeeper.property.dataDir</name>
        <value>/usr/local/hadoopenv/tmp/zookeeper/data</value>
    </property>
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>
    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>namenode,datanode1,datanode2</value>
    </property>
    <property>
        <name>hbase.master.maxclockskew</name>
        <value>150000</value>
    </property>
    <property>
        <name>zookeeper.session.ticktime</name>
    <value>6000</value>
    </property>

这里写图片描述

4)修改regionservers
去掉localhost
添加以下内容

datanode1
datanode2

这里写图片描述

5.启动集群

1)启动Hadoop

start-dfs.sh
startyarn.sh

2)启动 Zookeeper

zkServer.sh start

3)启动HBase

start-hbase.sh

4)jps查看进程

这里写图片描述

这里写图片描述

这里写图片描述

5)网站查看

浏览器输入网址
namenode:16010
这里写图片描述
datanode1:50070

这里写图片描述

金黄色的稻田
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
基于centos7搭建hadoop+zookeeper+hbase大数据集群
loopeng1的博客
01-09 3324
最近在给公司项目 搭集群,顺手整理了一个文档,特别详细,相信新手看了也能一次搭好hadoop集群 1. 环境准备 jdk1.8.0_121  hadoop-2.6.5  zookeeper-3.4.10  hbase-1.2.4   三台集群主机安装centos7系统   ip分别为 192.168.10.208(master) 192.168.10.207 (slave1)
CentOS7搭建 Hadoop + HBase + Zookeeper集群
ZCC的专栏
05-25 1452
一、基础环境准备 1、下载安装包 1）jdk-8u131 下载地址：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 2）hadoop-2.7.3 下载地址：https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/comm
hadoop集群准备---centos7安装jdk8
@dongyu的博客
03-02 373
    学习大数据之前需要安装VMware,在vm中安装centos7，然后新建三个虚拟机master、node01、node02。创建虚拟机完成后，确保虚拟机可以连接到外网，然后打开xshell，使用xshell连接三台虚拟机进行操作。要求三台虚拟机都安装jdk8，所以，打开xshell后，可以点击工具-发送键输入到所有会话。   &n...
集群搭建Hadoop 环境为CentOS7/JDK1.8
AceCream的博客
04-11 218
在看这一篇之前请先看：https://www.jianshu.com/p/bcb2f77d90e8 单机搭建Hadoop 保证可以熟悉hadoop的单机配置，这样不至于无脑粘贴xml文件内容导致各种问题。这边单机部署采用的是hadoop3这边我们回归到hadoop2.7去搭集群，其实都一样。 1.准备 本次要求准备三台服务器，这边演示使用VMware开了三个环境。 192.168.20.3 Ma...
hadoop+hbase+zookeeper 分布式集群搭建 + eclipse远程连接hdfs 完美运行
热门推荐
shatelang的专栏
05-27 2万+
之前有一篇文章已经很详细介绍了如何安装hadoop+hbase+zookeeper  文章标题为：hadoop+hbase+zookeeper 分布式集群搭建完美运行 其网址：http://blog.csdn.net/shatelang/article/details/7605939         这篇文章要讲述的是hadoop1.0.0+hbase0.92.1+zookeeper3.3.
Hadoop+Zookeeper+Hbase+Hive部署.doc
01-15
大数据平台搭建之 Hadoop+Zookeeper+Hbase+Hive 部署指南 大数据平台搭建是指通过集成多种大数据处理技术，构建一个功能强大、可靠、高效的数据处理平台。本文档主要介绍如何部署 Hadoop、Zookeeper、Hbase、Hive ...
基于CentOS7的Hadoop2.7.7集群部署+Hive+Zookeeper+hbase1.x+kylin2.5.0.doc
03-16
在构建大数据处理平台时，Hadoop、Hive、Zookeeper、HBase以及Kylin是关键组件，本教程将详述如何在CentOS7系统上基于Hadoop2.7.7搭建一个分布式集群，并集成Hive1.2.2、Zookeeper3.4.14、HBase1.x和Kylin2.5.0。...
Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境搭建
05-22
为搭建Hadoop2.2+Zookeeper3.4.5+HBase0.96集群环境，需要至少3台Linux机器，建议使用Centos6.4 64位操作系统，每台机器建议配置不低于4G内存和10G磁盘空间。 软件方面，需要安装jdk-7u55-linux-x64.rpm、apache-...
centos7+jdk1.8+scala+spark+IEDA(mac可参考)集群环境搭建
ydq1206的博客
12-08 1007
因为硬件原因，博文一直没有更新，非常抱歉，最近去买了一个配置比较好的笔记本，尝试了下spark在linux下环境的搭建，利用一个星期的业余时间，终于是搭建成功了，特此记下了，也是给大家一些借鉴，如有问题，可以留言，或者邮箱(xlydq1206@sina.com)。好，下面切入正题啦~ 首先，我的笔记本是双核四线程的，大环境是mac下同下用平行桌面搭建了四个虚拟机(win7+3个centos的l
VMware CentOS6.5 Hadoop3+Zookeeper集群搭建
flying_pig1989的博客
09-13 342
  一、vmware Centos6.5虚拟机准备 1. 使用同一用户learn ，安装三台CentOS6.5系统虚拟机，分别为vm1， vm2,    vm3。 vm1 和vm2 作为 nameNode + DataNode vm3  只作为DataNode 2. 通过NAT或者桥接模式分别为vm1，vm2， vm3设置网络。文中采用NAT方式， ip地址分别为：      vm1:...
VMware安装centos7、JDK1.8、ssh免密登录、hadoop2.6、hive2.3、kafka2.11、scala2.13、zookeeper3.4到完成整个spark2.4.3集群搭建
qq_39239019的博客
08-16 1171
写在前面：以下流程大致是根据b站上的视频操作的，但是由于视频是2015年的，再加上不是使用VMware Workstation，所以操作过程中会遇到一些问题，以下是我经过不断尝试后解决完成的。如果在接下来有什么看的不是很理解的，你可以先跟着做，不懂的地方可以在下面的b站视频链接里学。 b站视频参考地址 https://www.bilibili.com/video/av19995678/?p=24...
VMWare CentOS7 安装zookeeper
qq_39792062的博客
08-02 523
1.安装VMware 1.1 去官网下载VMware： https://www.vmware.com/cn.html 根据需要下载windows版本或者linux版本，这里下载的是windows版本 1.2 安装VMware 运行下载好的可执行文件，一路默认就好。如下是安装完成后的界面： 2.安装CentOS7 2.1 下载CentOS镜像 下载地址： htt...
zookeeper+hadoop+hbase 之 zookeeper
zhangxihangzhuan的专栏
12-06 441
zookeeper+hadoop+hbase 之 zookeeper
CentOS7搭建HBase1.0完全分布式集群(Hadoop2.6)
a237428367的专栏
01-05 2026
1.准备Hadoop集群,参照: http://blog.csdn.net/a237428367/article/details/50462858 2.tar -zxvf hbase-1.0.2-bin.tar.gz 你懂的 3.vi /hadoop/hbase-1.0.2/conf/hbase-site.xml hbase.rootdir hdfs://
hadoop安装和HDFS基础
马士兵说
06-18 689
大数据生态系统： 存储：hadoop hdfs 计算引擎： map/reduce v1 map/reduce/v2(map/reduce on yarn) Tez spark Impala Pesto Drill 直接跑在hdfs上 pig(脚本方式)hive(SQL语言)跑在map/reduce上 hive on lez/sparkSQL 流式...
HDFS部分：Linux系统下JDK的安装
wyqwilliam的博客
08-12 179
1.上传文件： 2.解压文件（注意rpm文件的解压命令）： rpm -i /software/file/linux-basic/jdk-7u67-linux-x64.rpm(rpm类型的文件解压) 3.配置环境变量的路径： pwd生成路径 去/etc/profile文件下配置： export JAVA_HOME=路径 export PATH=$PATH:$JAVA_HOME 完成之后：...
centos7安装hadoop集群，并基于zookeeper实现HA高可用
yuer5531的博客
01-26 1178
centos7安装hadoop集群，并实现HA高可用环境准备1、JDK1.8安装1.1、查看及卸载系统自带的jdk版本1.2、安装Oracle jdk1.8.0_1912、Zookeeper安装2.1、下载Zookeeper稳定版并解压2.2、配置Zookeeper集群3、虚拟机配置免密登录4、Hadoop安装插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值