实时数仓学习(二)Zookeeper安装

要换个昵称

已于 2022-09-08 17:37:11 修改

阅读量310

点赞数

分类专栏：实时数仓学习大数据组件安装文章标签： zookeeper 数据仓库

于 2022-09-07 11:45:21 首次发布

本文链接：https://blog.csdn.net/hzaaaa/article/details/126609834

版权

实时数仓学习同时被 2 个专栏收录

2 篇文章 0 订阅

订阅专栏

大数据组件安装

2 篇文章 0 订阅

订阅专栏

Zookeeper安装

前提jdk安装完毕

1、将压缩包放入/opt/software/下面

2、解压缩

tar -zxvf apache-zookeeper-3.5.7-bin.tar(1).gz -C /opt/module

#改名 
mv zookeeper3.5.7 zookeeper

3、编辑配置文件

cd /opt/module/zookeeper/conf
#复制配置文件
cp zoo_sample.cfg zoo.cfg
#进入cfg文件中配置
dataDir=/tmp/zookeeper/data
dataLogDir=/tmp/zookeeper/log

4、进入/tmp文件夹创建对应的data和log文件夹

mkdir /tmp/zookeeper
mkdir /tmp/zookeeper/data 
mkdir /tmp/zookeeper/log
#在data文件夹下创建myid文件，根据给上面配置的server.1给myid
vim myid
hadoop102里面就写1
Hadoop103里面就写2
...

5、配置环境变量

分发到其他机器

sudo xsync /etc/profile.d/my_env.sh

使环境变量生效

source /etc/profile.d/my_env.sh

6、启动zookeeper

cd $ZOOKEEPER_HOME/bin
./zkServer.sh start

7、一些zookeeper命令

...

Kafka安装

Hbase安装

1、jar包下载安装

Index of /dist/hbasehttps://archive.apache.org/dist/hbase/

上传到/opt/software下面

解压 tar -zxvf -C /opt/module

2、环境变量

cd /etc/profile.d/my_env.sh

#HBASE_HOME
export HBASE_HOME=/opt/module/hbase
export PATH=$PATH:$HBASE_HOME/bin

---------分割线--------
分发到其他三个节点
/home/hz/bin/xsync /etc/profile.d/my_env.sh
三台机器都需执行，使环境变量生效
source /etc/profile.d/my_env.sh

3、修改conf目录下的配置文件

vim /opt/module/hbase/conf/hbase-env.sh
将这条命令放开，并修改位false
# Tell HBase whether it should manage it's own instance of ZooKeeper or not.
export HBASE_MANAGES_ZK=false

------------------分割线-------------------------
vim /opt/module/hbase/conf/hbase-site.xml
在configuration里面增加下面三个配置。
    <property>
        <name>hbase.cluster.distributed</name>
        <value>true</value>
    </property>

    <property>
        <name>hbase.zookeeper.quorum</name>
        <value>hadoop102,hadoop103,hadoop104</value>
        <description>The directory shared by RegioServers.
        </description>
    </property>

    <property>
        <name>hbase.rootdir</name>
        <value>hdfs://hadoop102:8020/hbase</value>
        <description>The directory shared by RegioServers.
        </description>
    </property>

    <property>
        <name>hbase.unsafe.stream.capability.enforce</name>
        <value>false</value>
    </property>

<!-- 注意：为了开启hbase的namespace和phoenix的schema的映射，在程序中需要加这个配置文件，另外在linux服务上，也需要在hbase以及phoenix的hbase-site.xml配置文件中，加上以上两个配置，并使用xsync进行同步（本节1中文档已有说明）。-->
    <property>
        <name>phoenix.schema.isNamespaceMappingEnabled</name>
        <value>true</value>
    </property>

    <property>
        <name>phoenix.schema.mapSystemTablesToNamespace</name>
        <value>true</value>
    </property>



---------------------分割线------------------------
修改regionservers文件,将localhost删除，增加下面三个；不要带空格，换行
hadoop102
hadoop103
hadoop104

4、分发hbase

xsync /hbase

5、启动hbase

start-hbase.sh

stop-habse.sh

6、查看网页

hadoop102:16010

7、配置高可用

cd /opt/module/hbase

touch conf/backup-masters

echo hadoop103 conf/backup-masters

xsync conf/

phoenix安装

Apache DownloadsHome page of The Apache Software Foundationhttps://www.apache.org/dyn/closer.lua/phoenix/phoenix-5.1.2/phoenix-hbase-2.4-5.1.2-bin.tar.gz解压 tar -zxvf p -C /opt/module

改名

拷贝jar包到hbase

cp phoenix-5.0.0-HBase-2.0-server.jar /opt/module/hbase/lib/

分发

配置环境变量

注意：在配置hbase-site.xml如果有映射需要将这个映射同时也给phoenix复制到bin目录下面

clickhouse安装

1、前置工作

CentOS取消打开文件限制

sudo vim /etc/security/limits.conf
添加下面配置
* soft nofile 65535
* hard nofile 65535
* soft nproc 131072
* hard nproc 131072

#解释
*代表所有用户和所有组，可以单独配置。比如：hz@bigdata
soft/hard 代表当前/最大
nofile 读取文件数
nproc 线程数

------------------分割线-------------------------
sudo vim /etc/security/limits.d/20-nproc.conf
同样配置上面的配置

最后分发到其他机器，重启机器即可生效。
通过ulimit -a 命令可以查看是否修改成功。