CentOS 7配置hadoop和hbase伪分布式模式保姆级教程（近乎零基础跟着配也能配对）

已于 2024-04-26 22:43:27 修改
阅读量2.7k 收藏 22
点赞数 38
文章标签： 分布式 centos hadoop
于 2024-03-25 21:22:30 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_73099445/article/details/137025842
版权

前置准备：

VMware17

Tabby：https://github.com/Eugeny/tabby/releases/tag/v1.0.207

jdk-8u401：https://www.java.com/en/download/

hbase-1.3.1：https://archive.apache.org/dist/hbase/1.3.1/

hadoop-2.7.7：https://archive.apache.org/dist/hadoop/common/hadoop-2.7.7/

CentOS-7安装镜像：去找其他链接吧

打包在以下百度网盘链接里了

链接：https://pan.baidu.com/s/1VQGGVFOZ5uSo-9P-9reF9A?pwd=igcd

提取码：igcd

1、安装VMware17和Tabby

这里不再详细展开如何安装

45bd83c638dd4b25b34ada57a06c36ca.png

097a27cc67404b97a59b36441bede613.png

fd6245ceda904903b1c8b6a4e37b48e5.png

2、安装centos7

b2934600bbca4ae2a32a8e17f1068ac1.png

df05ad87ba0e4c49a12eaff55a298f22.png

b869f971a4bf495c99de0aa7132ffdd9.png

d02e7f20e1574d74bba77086d674e1d3.png

顺带一提，装好后关机打个快照可以方便之后克隆装好虚拟机的最纯净状态，不必再次安装虚拟机（能省半个小时它不香吗？）

3、配置静态ip

vim /etc/sysconfig/network-scripts/ifcfg-ens33

ad58ea070be9409fa32e554535d3c4fc.png

按a可以进入编辑模式

0ab2d523e38e40d5900c239e6db76d9e.png

不会看自己网段的看下图

03a8bf8e07184202841534d0e5e93335.png

要改的

BOOTPROTO="static"

要新增的

IPADDR="192.168.88.102"
GATEWAY="192.168.88.2"
NETMASK="255.255.255.0"
DNS="192.168.88.2"

配完后如下图

注意保存是先按esc键进入命令模式再输入:wq回车

f751a7fb2e814e6993e2db079b4db50e.png

重启网络

systemctl restart network

查看下ip

ifconfig

4cc9706ac8f34448b0aeb334d19c03e4.png

打个快照保存下，然后转战tabby

右键左侧当前虚拟机的名称选择快照->拍摄快照

173d439873db4365a88637b7f4641e2a.png

4、Tabby连接虚拟机并上传文件

774602e2a1ff422f9cd7328541a4a245.png

选择ssh连接

b017c5532bfa4aaa86e23d36f9012c7b.png

fe0e14fbb96541ab93eeda4fb0fd43b2.png

d4a287ce93054d9c99a33f320fcea43f.png

2bcf158e5e5540c09009c7230c627ec3.png

Tabby上传文件

b15e93ddcc0148899c167fd63d376e90.png

516ca9b5fbed4b88af7f80200a166bfc.png

查看一下上传的目录

ls /usr/local/

54618123eec4452da5810d57e63422ed.png

5、解压并配置环境变量

先给jdk创建一个新目录

mkdir -p /export/server

解压jdk：

tar -zxvf /usr/local/jdk-8u401-linux-x64.tar.gz -C /export/server/

21a805a53d8049b182cf6d82e8b0f257.png

解压hadoop：

tar -zxvf /usr/local/hadoop-2.7.7.tar.gz -C /usr/local/

解压hbase：

tar -zxvf /usr/local/hbase-1.3.1-bin.tar.gz -C /usr/local/

改名jdk：

mv /export/server/jdk1.8.0_401 /export/server/jdk

改名hadoop：

mv /usr/local/hadoop-2.7.7 /usr/local/hadoop

改名hbase：

mv /usr/local/hbase-1.3.1 /usr/local/hbase

eb1a002435f0421984f8e37bb9c80295.png

进入环境变量文件：

vim /etc/profile

bd306c4ac214405a8c2e5519ba759527.png

export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export PATH=.:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin

18fb7a3484584add84f9933eb72455fb.png

应用环境变量：

source /etc/profile

7e5785cdcaf94ed4a72c7d44cec119a3.png

6、一些其他的基础配置

关闭防火墙

关闭本次：

systemctl stop firewalld

关闭开机自启：

systemctl disable firewalld

ac55208e1c174959ad547a9c55694696.png

关闭selinux

临时关闭：

setenforce 0

修改配置文件：

vim /etc/sysconfig/selinux

27ebc541395640e1af8d601cca2bad66.png

SELINUX=disabled

bf8f9f9bc752452b919a99d4ca243812.png

更改主机名（这里的主机名要与后边配置hadoop和hbase时完全一致）：

hostnamectl set-hostname node2

1679b67e061e4c389c53f8dbc074af16.png

修改hosts映射文件：

vim /etc/hosts

f80dab2e51144f07a369740672a19ca5.png

在里面添加一行：自己的ip（刚配的）+主机名

c0288547dc4e476397806a1ad82b6799.png

配置ssh免密登录：

ssh-keygen -t rsa

705eab9aab52406ba9780b6fb92a61ff.png

创建密钥文件：

cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

0204523164364f8e8bc201c24c471243.png

如果查看Java版本时（java -version）显示的不是1.8.0.401可以删除掉本机上自带的其他jdk

查看本机已安装jdk命令：

rpm -qa|grep java

f36394202e524518a48670d13126e103.png

删除命令：rpm -e --nodeps xxxxxx(xxxxxx指代你要删除的软件，示例见下图)

901f772c5de345bf9d6fe92a18d2734f.png

7、配置hadoop

配置hadoop-env.sh：

vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/export/server/jdk

076df609baf949bbb22283cbb6bae4d4.png

配置yarn-env.sh：

vim /usr/local/hadoop/etc/hadoop/yarn-env.sh
export JAVA_HOME=/export/server/jdk

99ff34ac642e40d1aa9949ac447c84c6.png

配置core-site.xml：

vim /usr/local/hadoop/etc/hadoop/core-site.xml
<property>
 <name>fs.defaultFS</name>
 <value>hdfs://192.168.88.102:8020</value>
</property>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/usr/local/hadoop/tmp</value>
</property>

下图ip地址和代码块内对应不上，以代码块为主

配置hdfs-site.xml：

vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml
<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

a8a9fdd0c6a64388be49c5386a96d30c.png

因为没有mapred-site.xml只有mapred-site.xml.template所以要复制一份

命令：

cp /usr/local/hadoop/etc/hadoop/mapred-site.xml.template /usr/local/hadoop/etc/hadoop/mapred-site.xml

配置mapred-site.xml：

vim /usr/local/hadoop/etc/hadoop/mapred-site.xml
<property>
 <name>mapreduce.framework.name</name>
 <value>yarn</value>
</property>

ce19add639734f089a62536186f455db.png

配置yarn-site.xml：

vim /usr/local/hadoop/etc/hadoop/yarn-site.xml
<property>
 <name>yarn.nodemanager.aux-services</name>
 <value>mapreduce_shuffle</value>
</property>

a4c3e2655d5e4453bb920cffabdee5df.png

格式化hadoop：

hadoop namenode -format

597a40627e814ae9a2af1bd93d991e1e.png

启动hadoop：

start-all.sh

查看是否成功方法1：

jps

309f17abb41b4a908ac656c8c4e98337.png

查看是否成功方法2：浏览器内输入地址http://192.168.88.102:50070/（ip改成自己的，能ping通虚拟机的都可以访问）

46d2de6d7cf94581a8e0b13a828c86f4.png

关闭hadoop命令为：

stop-all.sh

这里不做演示

配好了之后可以再拍个快照以防配错

8、配置hbase伪分布式模式

配置hbase-env.sh：

vim /usr/local/hbase/conf/hbase-env.sh

加上

export JAVA_HOME=/export/server/jdk
export HBASE_MANAGES_ZK=true

e3c3064af9034ccfbf07d3daafd2049b.png

配置hbase-site.xml：

vim /usr/local/hbase/conf/hbase-site.xml

注意一定要应该修改的一定要修改

<property>
 <name>hbase.rootdir</name>
 <value>hdfs://node2:8020/hbase</value>
</property>
<property>
 <name>hbase.zookeeper.quorum</name>
 <value>node2</value>
<!--改成自己的主机名，这是血的教训-->
</property>

<property>
 <name>dfs.replication</name>
 <value>1</value>
</property>

<property>
 <name>hbase.cluster.distributed</name>
 <value>true</value>
</property>

<property>
 <name>hbase.zookeeper.property.dataDir</name>
 <value>/usr/local/hbase/data/zookeeper</value>
</property>

aa3d6ce20ee545b787e4de55b0bcc246.png

开启（开启前需要开启hadoop）：

start-hbase.sh

查看是否成功方法1：

jps

067245ec19c94975bc95b9d9f7b1e9e6.png

查看是否成功方法2：浏览器内输入地址http://192.168.88.102:16010/（ip改成自己的，能ping通虚拟机的都可以访问）

6c8f9aa08b3742e29f3341a8aaf4894c.png

关闭时注意先关hbase再关hadoop。

关闭hbase：

stop-hbase.sh

配好后别忘了拍个快照备份一下

9、解决某些服务启动不起来的问题（持续更新）

9.1无namenode

一种可能的原因是格式化化多次但没有删除以前格式化时的文件，导致唯一识别标识集群id变化了。所以启动不起来namenode 

解决方法：删除以前格式化的文件重新格式化

删除临时文件：

rm -rf /tmp/hadoop*

删除在core-site.xml中配置的格式化文件地址的文件夹：

rm -rf /usr/local/hadoop/tmp

每个人配置的地址不同请查看自己的core-site.xml文件

老郭laoguo
关注
  • 38
    点赞
  • 踩
  • 22
    收藏
    觉得还不错? 一键收藏
  • 12
    评论
基于CentOS 7搭建Hadoop Hbase伪分布式
weixin_50679936的博客
11-03 182
*注意！！！！！！！！我的虚拟机用户名是hadoop 以我的为标准就不会出错 **
CentOS7-Base-163.repo
09-12
CentOS7-Base-163.repo，替换国内yum源。（地方撒发生的发顺丰达是打发斯蒂芬放松放松防守打法电风扇放松放）括号中的字是凑字数
给centos重新安装yum的base-repo源
热门推荐
三劫散仙
12-14 4万+
如果自己的centos的系统yum源出现问题了，如何才能修复？ 方式一：使用国内的阿里云镜像 （1）把/etc/yum.repos.d/下面所有的源给删除掉了 （2）下载镜像 # CentOS 5 wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-5.repo # Ce
centos7 base repo
vbaspdelphi的专栏
11-02 2008
# base repo wget -O /etc/yum.repos.d/CentOS-Base.repo http://mirrors.aliyun.com/repo/Centos-7.repo# epel repo wget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo# docker r
centOS 7下Hadoop伪分布式搭建
wicjwnx的博客
09-02 3194
centOS下Hadoop伪分布式搭建
CentOS 7 上hadoop伪分布式搭建全流程完整教程
qq_52584391的博客
10-21 3837
centos7 上hadoop搭建详细步骤
基于CentOS7搭建Hadoop完全分布式模式和HBase完全分布式（超详细）
雨落i的博客
09-07 6714
零基础搭建Hadoop完全分布式，本篇文章讲解了虚拟机的创建和Hadoop的安装与配置
大数据-安装 Hadoop3.1.3 详细教程-单机/伪分布式配置(Centos)
Pola_的博客
11-30 9495
安装 Hadoop3.1.3 详细教程
CentOS7下安装Hadoop伪分布式
大头皮鞋的博客
03-21 8000
前提条件 拥有CentOS7服务器版环境 软件版本说明 jdk1.8 hadoop2.7.3 虚拟机环境准备 通网络 能ping通外网，例如： ping baidu.com 如果ping不通，可以修改如下文件： vim /etc/sysconfig/network-scripts/ifcfg-ens33 将ONBOOT=no改为ONBOOT=yes 重启网络或重启机器 重启网络 systemctl restart network 重启机器 reboot 修
Centos7 + Hadoop3 搭建伪分布式集群
01-07
关于Centos7的网络配置可以看我的另一篇博客：Centos7的网络配置 一、利用SecureCRT上传文件到root目录 二、关闭防火墙 按顺序执行命令：iptables -F;iptables -X;iptables -Z;iptables -L、iptables-save、...
Hadoop安装教程_伪分布式配置_CentOS6.4_Hadoop2.61
08-03
Hadoop安装教程_伪分布式配置_CentOS6.4/Hadoop2.6.0_厦大数据库实验室博客总结、分享、收获大数据 (http://dblab.xmu.
在CentOS上配置单机版、伪分布式hadoop.doc
06-16
1.SSH无密码登录 （1）SSH相关包检查与安装 在安装有些Linux系统是，如果选择的是基本安装、最小安装，SSH协议是不会安装的。所以在启动SSH协议之前，需要进行ssh和rsync两个服务的检查
hadoop伪分布式配置教程.doc
07-11
如果用的是 CentOS/RedHat 系统，请查看相应的CentOS安装Hadoop教程_单机伪分布式配置。 本教程基于原生 Hadoop 2，在 Hadoop 2.6.0 (stable) 版本下验证通过，可适合任何 Hadoop 2.x.y 版本，如 Hadoop 2.7.1、...
Centos 7 zookeeper 3.1.4 + hadoop 3.1.2+Hbase 2.1.3完全分布式+高可用（HA）
01-07
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。 本文链接：https://blog.csdn.net/wx2007xing/article/details/88710235 一、 环境说明 主机名 Zookeeper ...
centos搭建hadoop伪分布式
m0_46120209的博客
10-08 2242
centos搭建hadoop伪分布式
4. 分布式链路追踪客户端工具包Starter设计
攻城狮不是猫
05-09 448
本文将从零搭建分布式链路追踪客户端工具包的Starter，并将在后续文章中逐步丰富支持的场景。这里首先将搭建一个最基础的Starter，能提供的功能和1. 看完这篇文章我奶奶都懂Opentracing了一文中的示例demo类似。相关版本依赖如下。0.33.04.1.01.8.1Springboot2.7.6github在本文，首先实现了一个基础的Starter包，为分布式链路追踪提供了Servlet过滤器和拦截器，其次实现了一个demo，后续分布式链路追踪Starter的功能，将用该demo。
编写Ansible角色实现分布式LNMP安装
最新发布
qq_64612585的博客
05-12 1077
本文将介绍如何使用 Ansible 编写角色，在分布式环境下完成 LNMP（Linux、Nginx、MySQL、PHP）的自动化（编译）安装和配置，并验证 PHP 与 MySQL 数据联通性，实现博客和论坛页面的展示。
centos7安装hadoop伪分布式
03-16
1. 首先安装Java环境，Hadoop需要Java环境支持，可以使用yum命令安装： ``` yum install java-1.8.0-openjdk-devel.x86_64 ``` 2. 下载Hadoop安装包，可以从官网下载最新版本： ``` wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.0/hadoop-3.3.0.tar.gz ``` 3. 解压Hadoop安装包： ``` tar -zxvf hadoop-3.3.0.tar.gz ``` 4. 配置Hadoop环境变量，在/etc/profile文件中添加以下内容： ``` export HADOOP_HOME=/usr/local/hadoop export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin ``` 然后执行以下命令使环境变量生效： ``` source /etc/profile ``` 5. 配置Hadoop伪分布式模式，修改以下配置文件： - /usr/local/hadoop/etc/hadoop/hadoop-env.sh ``` export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.292.b10-0.el7_9.x86_64 ``` - /usr/local/hadoop/etc/hadoop/core-site.xml ``` <configuration> <property> <name>fs.defaultFS</name> <value>hdfs://localhost:9000</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/hdfs-site.xml ``` <configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/namenode</value> </property> <property> <name>dfs.datanode.data.dir</name> <value>/usr/local/hadoop/hadoop_data/hdfs/datanode</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/mapred-site.xml ``` <configuration> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration> ``` - /usr/local/hadoop/etc/hadoop/yarn-site.xml ``` <configuration> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> <value>org.apache.hadoop.mapred.ShuffleHandler</value> </property> <property> <name>yarn.resourcemanager.hostname</name> <value>localhost</value> </property> <property> <name>yarn.nodemanager.resource.memory-mb</name> <value>1024</value> </property> <property> <name>yarn.nodemanager.resource.cpu-vcores</name> <value>1</value> </property> </configuration> ``` 6. 格式化Hadoop文件系统，执行以下命令： ``` hdfs namenode -format ``` 7. 启动Hadoop服务，执行以下命令： ``` start-all.sh ``` 8. 查看Hadoop服务状态，执行以下命令： ``` jps ``` 如果输出以下内容，则表示Hadoop服务已经启动成功： ``` 12345 NameNode 23456 DataNode 34567 ResourceManager 45678 NodeManager 56789 Jps ``` 9. 访问Hadoop Web界面，打开浏览器，输入以下地址： ``` http://localhost:9870/ ``` 如果能够正常访问，则表示Hadoop伪分布式安装成功。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 12
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值