大数据集群环境搭建详细步骤，涉及zookeeper，hadoop，hive，hbase，kafka

已于 2022-11-18 11:20:20 修改
阅读量8k 收藏 83
点赞数 7
分类专栏： 大数据 文章标签： big data hadoop zookeeper
于 2022-01-26 17:45:23 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_31076523/article/details/122672283
版权

背景

公司需要搭建一套大数据集群环境用于测试，本文记录其详细过程，方便后面参考

环境信息

一主两从，均为ubuntu18.04

主：192.168.10.203(mufengcn)

从：192.168.10.202(mufengcn)，192.168.10.200(tsroot)
注：假定括号内为ssh用户名，均为非root用户名（真实服务器，文中涉及到的用户名图文是不对应的，我只是把文案中涉及到的用户名批量替换了下~）

准备

设置主机名及配置hosts

依次设置主机名，如：

sudo hostname bigdata203

sudo vi /etc/hostname

在这里插入图片描述

三台机器分别配置hosts

vi /etc/hosts

192.168.10.203  bigdata203
192.168.10.200  bigdata200
192.168.10.202  bigdata202

在这里插入图片描述

时间同步

设置相同时区：ln -sf /usr/share/zoneinfo/Asia/Shanghai /etc/localtime

同步时间：

参考连接：https://blog.csdn.net/vic_qxz/article/details/80344855

大概意思是，将一台服务器作为时间同步服务器，另外两台作为客户端直接同步。

  1. 将192.168.10.200作为时间同步服务器

    安装ntp： sudo apt-get install ntp
启动ntp： /etc/init.d/ntp start

    验证启动成功：
    在这里插入图片描述

  2. 在192.168.10.203和192.168.10.202上安装客户端ntpdate

    sudo apt-get install ntpdate

    手动同步时间测试：

    sudo ntpdate 192.168.10.200

在这里插入图片描述

  1. 配置cron任务

    确定cron服务正常启动： service cron status
    在这里插入图片描述

    在客户端（192.168.10.203，192.168.10.202）配置定时任务：crontab -e

    下面表达式代表：每分钟同步一次时间，并将正确或错误消息输入到/home/mufengcn/ntpdate.log中

    * * * * *  sudo -n /usr/sbin/ntpdate  192.168.10.200 >>/home/mufengcn/ntpdate.log 2>&1

    查看当前用户的定时任务：crontab -l
    在这里插入图片描述

    定时任务中需要sudo命令，应该设置免密：

    sudo visudo -f /etc/sudoers

    Defaults visiblepw

    在这里插入图片描述

    sudo visudo -f /etc/sudoers.d/ntpdate

    mufengcn ALL=NOPASSWD: /usr/sbin/ntpdate

mufengcn 为当前所使用的用户名

​

  1. 查看定时任务执行情况

    开启日志打印：sudo vi /etc/rsyslog.d/50-default.conf

    取消注释：
    在这里插入图片描述

    重启：sudo service rsyslog restart

    查看定时任务执行情况：tail -f /var/log/cron.log

在这里插入图片描述

查看ntpdate结果：tail -f /home/mufengcn/ntpdate.log

在这里插入图片描述

常见问题

  1. 时间同步失败，no server suitable for synchronization found.参考以下连接调试

https://blog.csdn.net/weidan1121/article/details/3953021

在这里插入图片描述

  1. /etc/sudoers一定要用visudo 去修改，因为该工具修改错误时有语法提示。如果不小心用vi将/etc/sudoers修改错了，会导致系统不能使用sudo命令。此时的解决方案参考：

https://baijiahao.baidu.com/s?id=1623745008749543253&wfr=spider&for=pc&isFailFlag=1

关闭防火墙

sudo systemctl stop ufw.service
sudo systemctl disable ufw.service

免密登录

需要主节点向从节点复制东西免密，即将主节点的id_rsa.pub追加到从节点的authorized_keys

在主节点执行：

ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

把主节点的~/.ssh/authorized_keys拷贝到从节点的 ~/.ssh/authorized_keys即可

常见问题

  1. 假设bigdata203连不上bigdata200，可以先在bigdata200上调试（即自己连自己）：
ssh-keygen -t rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
ssh -vvvT bigdata200

在这里插入图片描述

如上图所示，使用publickey认证时，正确的结果是：receive packet: type 60

解决方案：在bigdata200机器上执行

sudo chmod o-rwx /home/tsroot/ -R
  1. 假设bigdata200自身连接没问题，但是bigdata203上连不上bigdata200，那么继续查看调试信息，会发现是因为两台机器用户名不一样。在bigdata203上使用ssh连接bigdata200。默认是使用的当前登录用户名(mufengcn)连接的，而bigdata200没有mufengcn这个用户，所以失败

在这里插入图片描述

解决方案：

在bigdata203添加文件~/.ssh/config，配置用户名

在这里插入图片描述

hadoop集群安装

地址：http://archive.apache.org/dist/hadoop/common/hadoop-3.2.0/

需提前安装好java，jdk 1.8即可。

架构示意如下：
在这里插入图片描述

配置

主节点

hadoop-env.sh

export JAVA_HOME=/home/mufengcn/yangqin/jdk1.8.0_181
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop

core-site.xml

<configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://bigdata203:9000</value>
	</property>
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/data/hadoop_repo</value>
	</property>
</configuration>

hdfs-site.xml

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>2</value>
    </property>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>bigdata203:50090</value>
    </property>
</configuration>

mapred-site.xml

<configuration>
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

yarn-site.xml

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.env-whitelist</name>
        <value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
    </property>
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>bigdata203</value>
	</property>
</configuration>

works

指定从节点信息：

bigdata200
bigdata202

后面两个配置文件修改，应该追加到最前面，方便脚本引用

sbin/start-dfs.sh sbin/stop-dfs.sh

HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

sbin/start-yarn.sh sbin/stop-yarn.sh

YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
从节点

将主节点整个配置拷贝到从节点即可

启动

在三台机机器，配置hadoop环境变量：vi /etc/profile

HADOOP_HOME=/home/mufengcn/yangqin/soft/hadoop-3.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

使环境变量生效: source /etc/profile

主节点运行：

格式化HDFS： hdfs namenode -format
启动： start-all.sh

在这里插入图片描述

初次启动失败，可能是目录权限的原因：手工到从节点创建/data/hadoop_repo目录即可，并修改所属组为当前登录用户，如：

sudo mkdir -p /data/hadoop_repo
sudo chown tsroot:tsroot -R /data/hadoop_repo/

验证

主节点查看

jps -m： 可以看到主节点启动了NameNode，SecondaryNameNode，ResourceManager

在这里插入图片描述

从节点查看

jps -m： 可以看到从节点只启动了DataNode，NodeManager

在这里插入图片描述

前台访问

hdfs: http://bigdata203:9870/

在这里插入图片描述

yarn: http://bigdata203:8088/

在这里插入图片描述

hive安装

地址: http://archive.apache.org/dist/hive/hive-3.1.2/

Hive相当于Hadoop的客户端工具，安装时不一定非要放在集群的节点中，可以放在任意一个集群客户端节点上都可以，先解压放入到/home/mufengcn/yangqin/soft/apache-hive-3.1.2-bin

配置

cd apache-hive-3.1.2-bin/conf/
mv hive-env.sh.template hive-env.sh
mv hive-default.xml.template hive-site.xml

hive-env.sh

export JAVA_HOME=/home/mufengcn/yangqin/jdk1.8.0_181
export HIVE_HOME=/home/mufengcn/yangqin/soft/apache-hive-3.1.2-bin
export HADOOP_HOME=/home/mufengcn/yangqin/soft/hadoop-3.2.0

hive-site.xml(找到并修改即可)

<property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://mysqlIp:3306/hive?serverTimezone=Asia/Shanghai</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.cj.jdbc.Driver</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>root</value>
</property>
<property>
    <name>javax.jdo.option.ConnectionPastsord</name>
    <value>admin</value>
</property>
<property>
    <name>hive.querylog.location</name>
    <value>/data/hive_repo/querylog</value>
</property>
<property>
    <name>hive.exec.local.scratchdir</name>
    <value>/data/hive_repo/scratchdir</value>
</property>
<property>
    <name>hive.downloaded.resources.dir</name>
    <value>/data/hive_repo/resources</value>
</property>

在Hadoop的core-site.xml文件中增加下面配置

    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>

元数据库初始化

将mysql驱动程序放入hive的lib中

bin/schematool -dbType mysql -initSchema

插入数据：

在这里插入图片描述

zookeeper集群安装

http://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/

解压放入/home/mufengcn/yangqin/soft/apache-zookeeper-3.5.8

配置

cd apache-zookeeper-3.5.8-bin/conf
mv zoo_sample.cfg  zoo.cfg

vi zoo.cfg

dataDir=/home/mufengcn/yangqin/soft/apache-zookeeper-3.5.8-bin/data
server.0=bigdata203:2888:3888
server.1=bigdata202:2888:3888
server.2=bigdata200:2888:3888

分别在bigdata200,bigdata202,bigdata203执行：

echo 2 > data/myid
echo 1 > data/myid
echo 0 > data/myid

启动

主从节点分别启动

bin/zkServer.sh start

验证

如果能看到QuorumPeerMain进程就说明zookeeper启动成功

jps

在这里插入图片描述

通过zkServer.sh status查看主从节点（leader和follower）
在这里插入图片描述

常用命令

进入shell： bin/zkCli.sh
创建test节点，存储hello数据：create /test hello
查看test节点内容： get /test
删除节点： deleteall

kafka安装

http://archive.apache.org/dist/kafka/2.4.1/

注意：由于Kafka需要依赖于Zookeeper，所以在这我们需要先把Zookeeper安装部署起来

解压：

在这里插入图片描述

配置

vi server.properties

broker.id=0
log.dirs=/home/mufengcn/yangqin/soft/kafka_2.12-2.4.1/kafka-logs
zookeeper.connect=bigdata203:2181,bigdata202:2181,bigdata200:2181

broker.id的值默认是从0开始的，集群中所有节点的broker.id从0开始递增即可

启动

三台机器依次启动

bin/kafka-server-start.sh -daemon config/server.properties

常用命令

启动：bin/kafka-server-start.sh -daemon config/server.properties
查看topic：bin/kafka-topics.sh --list --zookeeper localhost:2181
生产者：bin/kafka-console-producer.sh --broker-list 192.168.10.203:9092 --topic YQ_Topic
消费者：bin/kafka-console-consumer.sh --bootstrap-server 192.168.10.203:9092 --topic YQ_Topic --from-beginning

配置认证

默认情况无认证，常见的有acl和kerberos两种认证方式

acl认证

配置

server
config/server.properties

listeners=SASL_PLAINTEXT://:9092
allow.everyone.if.no.acl.found=true
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
super.users=User:admin
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=PLAIN
sasl.enabled.mechanisms=PLAIN

listeners=SASL_PLAINTEXT://:9092,这里虽然没有写IP地址，但是它会监听所有IP

bin/kafka-server-start.sh追加KAFKA_HEAP_OPTS

export KAFKA_HEAP_OPTS="$KAFKA_HEAP_OPTS -Djava.security.auth.login.config=/home/siweicn/yangqin/soft/kafka_2.12-2.4.1/jaas/kafka-server-jaas.conf"

在这里插入图片描述
创建jass/kafka-server-jaas.conf

KafkaServer {
    org.apache.kafka.common.security.plain.PlainLoginModule required
    username="admin"
    password="admin"
    user_admin="admin"
    user_writer="writer"
    user_reader="reader";
};

生产者
bin/kafka-console-producer.sh追加KAFKA_HEAP_OPTS

KAFKA_HEAP_OPTS="$KAFKA_HEAP_OPTS -Djava.security.auth.login.config=/home/siweicn/yangqin/soft/kafka_2.12-2.4.1/jaas/kafka-writer-jaas.conf"

在这里插入图片描述

创建jaas/kafka-writer-jaas.conf

KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="writer"
password="writer";
};

消费者
bin/kafka-console-consumer.sh追加KAFKA_HEAP_OPTS

KAFKA_HEAP_OPTS="$KAFKA_HEAP_OPTS -Djava.security.auth.login.config=/home/siweicn/yangqin/soft/kafka_2.12-2.4.1/jaas/kafka-reader-jaas.conf"

创建jaas/kafka-reader-jaas.conf

KafkaClient {
org.apache.kafka.common.security.plain.PlainLoginModule required
username="reader"
password="reader";
};
授权

授权，可以指定某个用户在某个topic下有什么权限。所以首先创建topic

bin/kafka-topics.sh --create --zookeeper bigdata203:2181 --topic yangqin_acl --partitions 1 --replication-factor 1

生产者-写权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=bigdata203:2181,bigdata202:2181,bigdata200:2181 --add --allow-principal User:writer --operation Write --topic yangqin_acl

消费者-读权限

bin/kafka-acls.sh --authorizer kafka.security.auth.SimpleAclAuthorizer --authorizer-properties zookeeper.connect=bigdata203:2181,bigdata202:2181,bigdata200:2181 --add --allow-principal User:reader --operation Read --topic yangqin_acl

查看当前topic的授权情况

bin/kafka-acls.sh --list --authorizer-properties zookeeper.connect=bigdata203:2181,bigdata202:2181,bigdata200:2181

在这里插入图片描述

验证

启动kafkaserver

bin/kafka-server-start.sh -daemon config/server.properties

因为在server.properties中指定了认证方式为SASL_PLAINTEXT，所以在启动生产者、消费者时也需要指定认证方式，否则启动时会报连接不上：bin/kafka-console-producer.sh --broker-list bigdata203:9092 --topic yangqin_acl
在这里插入图片描述
可以通过配置文件指定认证方式
vi jaas/producer.conf

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

vi jaas/consumer.conf

security.protocol=SASL_PLAINTEXT
sasl.mechanism=PLAIN

两者内容是一样的，其实可以写到同一个文件即可

启动生产者

bin/kafka-console-producer.sh --broker-list bigdata203:9092 --topic yangqin_acl --producer.config jaas/producer.conf

在这里插入图片描述

启动消费者

bin/kafka-console-consumer.sh --bootstrap-server bigdata203:9092 --topic yangqin_acl --from-beginning --consumer.config jaas/consumer.conf

在这里插入图片描述

备注

除了config/server.properties中的broker.id不同，集群中所有节点配置是一样的

kerberos认证

之前写过单机环境下kafka配置kerberos的文章：https://blog.csdn.net/qq_31076523/article/details/117026263
集群环境下的配置也差不多。

安装配置kdc
sudo apt install krb5-{admin-server,kdc}

安装过程选项如下：

  1. Default Kerberos version 5 realm? EXAMPLE.COM
  2. Kerberos servers for your realm: bigdata203
  3. Administrative server for your Kerberos realm: bigdata203
    我是在某个节点下安装kdc的，所以kdc的主机名直接写某个节点即可。

安装完成后会自动启动失败，这是因为还未初始化。初始化如下：

sudo krb5_newrealm

设置密码即可
在这里插入图片描述
修改配置文件：vi /etc/krb5.conf

[realms]
        EXAMPLE.COM = {
                kdc = bigdata203
                admin_server = bigdata203
        }
[logging]
	kdc = FILE:/var/log/kerberos/krb5kdc.log
	admin_server = FILE:/var/log/kerberos/kadmin.log
	default = FILE:/var/log/kerberos/krb5lib.log

重启kdc：

sudo systemctl restart krb5-admin-server
sudo systemctl restart krb5-kdc

设置kdc开机自动启动：

sudo systemctl enable krb5-admin-server
sudo systemctl enable krb5-kdc

添加用户并生成keytab，可以所有用户共用一个keytab：

kadmin.local
add_principal kafka/bigdata203@EXAMPLE.COM
add_principal kafka/bigdata200@EXAMPLE.COM
add_principal kafka/bigdata202@EXAMPLE.COM
xst -k kafka_krb5.keytab kafka/bigdata203@EXAMPLE.COM
xst -k kafka_krb5.keytab kafka/bigdata200@EXAMPLE.COM
xst -k kafka_krb5.keytab kafka/bigdata202@EXAMPLE.COM
q

在这里插入图片描述
查看keytab

klist -k kafka_krb5.keytab

在这里插入图片描述

准备
配置

为了不影响之前的acl认证，从bin下的原始相关文件复制出来以便做kerberos认证配置（如果之前按照本文修改了acl相关配置，则需先在新脚本文件中重置相关修改，即移出KAFKA_HEAP_OPTS）

主节点配置
cp bin/kafka-server-start.sh bin/kafka-server-start-kerberos.sh
cp bin/kafka-console-consumer.sh bin/kafka-console-consumer-kerberos.sh
cp bin/kafka-console-producer.sh bin/kafka-console-producer-kerberos.sh
cp bin/kafka-run-class.sh bin/kafka-run-class-kerberos.sh

kafka-server-start-kerberos.sh

exec $base_dir/kafka-run-class-kerberos.sh $EXTRA_ARGS kafka.Kafka "$@"

kafka-console-consumer-kerberos.sh

exec $(dirname $0)/kafka-run-class-kerberos.sh kafka.tools.ConsoleConsumer "$@"

kafka-console-producer-kerberos.sh

exec $(dirname $0)/kafka-run-class-kerberos.sh kafka.tools.ConsoleProducer "$@"

kafka-run-class-kerberos.sh

KAFKA_OPTS="-Djava.security.krb5.conf=/etc/krb5.conf -Djava.security.auth.login.config=/home/siweicn/yangqin/soft/kafka_2.12-2.4.1/jaas/kafka-server-jaas-kerberos.conf"

在这里插入图片描述
上述修改将启动kafka，生产者，消费者的脚本都引用kafka-run-class-kerberos.sh，所以最后的修改都在kafka-run-class-kerberos.sh脚本中，实际就是配置了一个krb5.conf和kafka-server-jaas-kerberos.conf文件，krb5.conf前面已编辑后，接下来编写jaas/kafka-server-jaas-kerberos.conf

KafkaServer {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/home/siweicn/yangqin/kerberosConfig/kafka_krb5.keytab"
    principal="kafka/bigdata203@EXAMPLE.COM";  
};
KafkaClient {
    com.sun.security.auth.module.Krb5LoginModule required
    useKeyTab=true
    storeKey=true
    keyTab="/home/siweicn/yangqin/kerberosConfig/kafka_krb5.keytab"
    principal="kafka/bigdata203@EXAMPLE.COM";
};

该文件指定了之前创建的principal和keytab文件，路径根据实际填写即可

配置的最后一步：替换JCE

注意和jdk版本对应，我安装的是jdk8.
下载地址：https://www.oracle.com/java/technologies/javase-jce8-downloads.html
将local_policy.jar、US_export_policy.jar替换到java安装目录下的 jre/lib/security/

这步非常重要，如果不替换总是会提示验证失败：
Connection to node failed authentication due to: Authentication failed due to invalid credentials with SASL mechanism……

其他节点配置

内容几乎完全一样，将相关内容先复制过去：包括krb5.conf，keytab，jce相关jar包，kafka整个文件夹

scp -rq /etc/krb5.conf bigdata202:/etc/
scp -rq /home/siweicn/yangqin/kerberosConfig/kafka_krb5.keytab  bigdata202:/home/siweicn/yangqin/kerberosConfig
scp -rq /home/siweicn/yangqin/jdk1.8.0_111/jre/lib/security/* bigdata202:/home/siweicn/yangqin/jdk1.8.0_111/jre/lib/security/
scp -rq /home/siweicn/yangqin/soft/kafka_2.12-2.4.1/  bigdata202:/home/siweicn/yangqin/soft/

scp -rq /etc/krb5.conf bigdata200:/etc/
scp -rq /home/siweicn/yangqin/kerberosConfig/kafka_krb5.keytab  bigdata200:/home/siweicn/yangqin/kerberosConfig
scp -rq /home/siweicn/yangqin/jdk1.8.0_111/jre/lib/security/* bigdata200:/home/siweicn/yangqin/jdk1.8.0_111/jre/lib/security/
scp -rq /home/siweicn/yangqin/soft/kafka_2.12-2.4.1/  bigdata200:/home/siweicn/yangqin/soft/

在bigdata200上修改：

设置以下两个文件中的broker.id=1

vi config/server.properties
vi config/server-kerberos.properties

将kafka-server-jaas-kerberos.conf的principal中的203换为200

vi jaas/kafka-server-jaas-kerberos.conf

在这里插入图片描述
删除多余的日志文件和数据文件（不同broker上的数据是不同的）

rm -rf logs/ kafka-logs/

在bigdata202上修改:

和bigdata200一致：

  1. 将server.properties、server-kerberos.properties中broker.id写成2，
  2. 将kafka-server-jaas-kerberos.conf中的principal使用kafka/bigdata202@EXAMPLE.COM
  3. 删除多余的日志文件和数据文件
验证

启动kafka

bin/kafka-server-start-kerberos.sh -daemon config/server-kerberos.properties

启动生产者

bin/kafka-console-producer-kerberos.sh --broker-list bigdata203:9092 --topic topicTest  --producer.config config/producer-kerberos.properties

启动消费者

bin/kafka-console-consumer-kerberos.sh --bootstrap-server bigdata203:9092 --topic topicTest --from-beginning --consumer.config config/consumer-kerberos.properties

启动生产者和消费者时的bootstrap-server可以为bigdata203，bigdata202，bigdata200中的任意一个

在这里插入图片描述
在这里插入图片描述
备注：经测试，当开启一个生产者时（如bigdata203），在分别在bigdata203，bigdata202，bigdata200开启一个消费者，启动命令中指定的bootstrap-server分别为bigdata203，bigdata202，bigdata200。当产生一条消息时，始终只有一个shell中的消费者够收到，如果把这个消费者关掉，再产生新的消息时，剩余两个中的某个消费者才能收到。即三个消费者不能同时收到生成者产生的消息。但是同样条件下，acl认证时可以同时收到，暂未搞清楚原由

hbase集群安装

地址：http://archive.apache.org/dist/hbase/2.2.7/

配置

hbase-env.sh

export JAVA_HOME=/home/mufengcn/yangqin/jdk1.8.0_111
export HADOOP_HOME=/home/mufengcn/yangqin/soft/hadoop-3.2.0
export HBASE_MANAGES_ZK=false
export HBASE_LOG_DIR=/home/mufengcn/yangqin/soft/hbase-2.2.7/logs

hbase-site.xml

  <property>
    <name>hbase.cluster.distributed</name>
    <value>true</value>
  </property>
  <property>
    <name>hbase.tmp.dir</name>
    <value>/home/mufengcn/yangqin/soft/hbase-2.2.7/tmp</value>
  </property>
  <property>
    <name>hbase.unsafe.stream.capability.enforce</name>
    <value>false</value>
  </property>
  <!--设置HBase表数据，也就是HBase数据在hdfs上的存储根目录-->
<property>
    <name>hbase.rootdir</name>
    <value>hdfs://bigdata203:9000/hbase</value>
</property>
<!--zookeeper集群的URL配置，多个host中间用逗号隔开-->
<property>
    <name>hbase.zookeeper.quorum</name>
    <value>bigdata203,bigdata202,bigdata200</value>
</property>
<!--HBase在zookeeper上数据的根目录znode节点-->
<property>
    <name>zookeeper.znode.parent</name>
    <value>/hbase</value>
</property>
<!--设置zookeeper通信端口，不配置也可以，zookeeper默认就是2181-->
<property>
    <name>hbase.zookeeper.property.clientPort</name>
    <value>2181</value>
</property>

因为bigdata200的用户为tsroot，bigdata203的用户为mufengcn，所以有可能导致bigdata200没有权限向hadoop目录写入数据而启动失败

在这里插入图片描述
解决方案：关闭hadoop权限验证即可

hdfs-site.xml

<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>bigdata203:50090</value>
</property>
<property>
    <name>dfs.permissions.enabled</name>
    <value>false</value>
</property>

修改hadoop配置文件后需要重启生效

regionservers

bigdata202
bigdata200

启动

bin/start-hbase.sh

验证

后台查看：hbase shell
在这里插入图片描述

前台访问：http://bigdata203:16010/master-status
在这里插入图片描述

yangqin@1225
关注
专栏目录
搭建大数据集群环境
qq_53488289的博客
10-09 977
实验环境准备操作系统：centos7所需实验包：所需架包：三台裸机（最小安装）IP。
大数据集群环境搭建
rm -rf/坏习惯
01-29 2830
#linux集群环境搭建 集群、分布式---->多台机器 虚拟机克隆 服务器基础环境准备 1、防火墙关闭 2、主机名hostname修改 3、hosts主机名 IP映射 4、ssh免密登录 5、扩展：跳板机、堡垒机 6、集群时间同步 7、scp 跨集群复制文件 #Linux软件安装 rpm包 yum安装软件 #软件安装 JDK # shell编程
大数据集群/环境搭建指南
最新发布
qq_51610110的博客
07-28 522
大数据集群/环境搭建指南
大数据之集群搭建
weixin_33705053的博客
01-09 137
大数据之集群搭建 一：了解集群的原理： 二：集群环境的搭建之前的准备工作：集群环境的搭建需要退回到hadoop分布式搭建之前：这个时候可以在安装hadoop之前在虚拟机中拍一个快照 如果没有拍快照怎么解决： 1，先停掉Hadoop的运行 :stop-dfs.sh 2检查是否停掉：jps：看里面是否还有与Hadoop相关的程序在运行...
大数据环境搭建
yulishi12的专栏
02-27 1063
大数据整套环境搭建，hadoop、zk、hive、hbase、kylin、海豚
大数据hadoop分布式集群搭建（Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume）
08-23
自己整理的Hadoop环境的一些安装，和一些简单的使用，其中包括Hadoop、hbase、hive、mysql、zookeeper、Kafka、flume。都是一些简单的安装步骤和使用，只在自己的虚拟机（Linux centOS7）上使用测试过。按照步骤一步...
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase）
01-25
大数据综合实验环境搭建（3个集群、Zookeeper、Hive、HBase） 本资源摘要信息主要对大数据综合实验环境搭建进行了详细的介绍，涵盖了 JDK 的安装和配置、免密码登录的设置、Zookeeper 的安装、Hive 和 HBase 的安装...
Hadoop+Spark+Hive+HBase+Oozie+Kafka+Flume+Flink+ES+Redash等详细安装部署
06-22
在大数据领域，构建一个完整的生态系统是至关重要的，其中包括多个组件，如Hadoop、Spark、Hive、HBase、Oozie、Kafka、Flume、Flink、Elasticsearch和Redash。这些组件协同工作，提供了数据存储、处理、调度、流...
大数据基础面试题hadoop,zookeeper,hbase,hive,spark,kafka,flink,clickhouse
03-09
例如，Hadoop 的数据块大小设置、Zookeeper 的会话超时机制、HBase 的 Region 分裂、Hive 的分区表设计、Spark 的容错机制、Kafka 的生产者消费者模型、Flink 的状态持久化和ClickHouse 的索引策略等都是常见的面试...
Docker本地搭建Hadoop高可用,Hbase,Spark,Flink,Zookeeper集群_基于docker容器,搭建hadoop+spark+hive+hbase+zookeeper sca
2301_79097795的博客
05-03 586
*看看本地端口9000也确实起来了。
Hadoop 系列（八）—— 基于ZooKeeper搭建Hadoop高可用集群
黑白影的博客
06-07 463
一、高可用简介 Hadoop 高可用 (High Availability) 分为 HDFS 高可用和 YARN 高可用，两者的实现基本类似，但 HDFS NameNode 对数据存储及其一致性的要求比 YARN ResourceManger 高得多，所以它的实现也更加复杂，故下面先进行讲解： 1.1 高可用整体架构 HDFS 高可用架构如下： 图片引用自：https://www.edur...
搭建大数据集群环境一
uswni的博客
02-23 362
搭建大数据集群环境 准备知识 因为这个环境是在Linux操作系统下搭建的，所以等下需要改到一些配置文件。在Linux下默认是vi编辑器，所以我们先学习下vi的基本操作。 vi一共有三种模式： 命令模式 输入模式 底线命令模式 进入时为命令模式，按下i进入输入模式，改完后按ESC键返回命令模式，输入**：wq保存退出。：q!**是强制退出编辑，不保存。 然后在当前尽量不使用鼠标进行操作。目前知道这些就可以了。 一.配置Linux网络 搭建大数据集群环境喽，所以一台虚拟机肯定构不成集群，我们学
Hadoop+ZooKeeper+HBase 集群搭建
技术交流，共同进步
10-08 848
Hadoop+ZooKeeper+HBase 集群搭建 一.前期环境准备 1.版本选择 ZooKeeper3.4.12 下载地址： http://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz Hadoop2.8.3 下载地址：http://mirrors.hust.edu...
大数据集群搭建
qq_39290725的博客
02-18 343
一、 安装VMware 二、 安装CentOS-7 创建新的虚拟机 创建新的虚拟机： 选择典型： 选择稍后安装操作系统【或者傻瓜式安装选择安装程序光盘映像文件(iso)，选择镜像，直接安装成功】： 选择Linux，版本选择CentOS 7 64位： 输入虚拟机名称和位置： 磁盘容量可以按照默认不选，直接下一步： 点击完成： 配置虚拟机镜像路径，点击编辑虚拟机设置： 选择CD/DVD(IDE)，...
一站式CentOS大数据分布式集群搭建教程：Hadoop+Spark+HBase等
我们将深入探讨如何在CentOS操作系统上搭建一个包含多个组件的大数据分布式集群环境，以支持Hadoop、Spark、HBase、Hive、Solr、Elasticsearch、Redis、Zookeeper、RocketMQ、MongoDB、MariaDB、Storm和Kafka等关键...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值