Hadoop+Spark和Rabbitmq高可用集群部署

已于 2022-11-16 17:48:48 修改
阅读量991 收藏
点赞数
分类专栏： FATE联邦学习 文章标签： hadoop spark 大数据 rabbitmq
于 2022-11-08 15:12:07 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43134044/article/details/127685225
版权

目录

一、节点与组件架构

二、服务器及网络配置要求

三、基本环境配置要求

四、安装包准备

五、Zookeeper部署

六、Hadoop部署

七、Spark部署

八、RabbitMQ部署      

一、节点与组件架构

        1.节点与组件分布：

节点Zookeeper

Journal

Node

Name

Node

ZKFC

Resource

Manager

Node

Manger

Data

Node

SparkRabbmit
Master111（A）1

       1

    （B）

111（A）1
Slave1111（B）1

       1

   （A）

111（B）1
Slave2111111

Note:A表示active，S表示Standby

        2.组件作用：

        Zookeeper：保持数据一致性，其中一个作用是控制NameNode，ResourceNode和Spark的状态，如active node单机故障时，standby node转active。

        ZKFC：用于监控Namenode的健康状况，如果active NameNode出现故障，将告知 Zookeeper（删除Znode锁），Zookeeper通知standby NameNode激活（配置Znode锁）。

        JournalNode：active NameNode会将编辑日志同步写入JournalNode，同时standby NameNode会从JournalNode读取编辑日志。当active NameNode出故障，standby 快速转化为active。

二、服务器及网络配置要求

(仅供参考，除最小节点要求，sudo配置和内网互访无碍外，可根据自身需求配置）

Server
Number3
OSCentOS linux 7.6
Spec4core/8GB memory/100GB hard disk/10Mbandwidth
Useruser: app, user group: apps (app user should be able to execute sudo su root without password)
Internetservers have access to each other in the intranet

三、基本环境配置要求

        1.主机名修改和主机名映射

        1.1 在10.200.207.1，以root用户执行

hostnamectl set-hostname VM-0-1-centos-Master

        1.2 在10.200.207.2，以root用户执行

hostnamectl set-hostname VM-0-1-centos-Slave-01

        1.3 在10.200.207.3，以root用户执行

hostnamectl set-hostname VM-0-1-centos-Slave-02

        1.4 新增的域名是为了后面spark以及fate1.9.0启动，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

vim /etc/hosts
192.168.0.1 VM-0-1-centos-Master fate-cluster
192.168.0.2 VM-0-2-centos-Slave-01 fate-cluster
192.168.0.3 VM-0-3-centos-Slave-02

        2.使SELinux失效，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

sed -i '/^SELINUX/s/=.*/=disabled/' /etc/selinux/config
setenforce 0

        3.设置服务器资源限制，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

        4.关闭服务器本地防火墙， 在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

systemctl disable firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service

        5.初始化服务器，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

groupadd -g 6000 apps
useradd -s /bin/bash -G apps -m app
passwd app
mkdir -p /data/projects/common/jdk
chown –R app:apps /data/projects

        6.配置sudo，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

vim /etc/sudoers.d/app
app ALL=(ALL) ALL
app ALL=(ALL) NOPASSWD: ALL
Defaults !env_reset

        7.设置SSH免密互连

        7.1 转为app用户并生成RSA密钥，在10.200.207.1、10.200.207.2、10.200.207.3，以root用户执行

su - app
ssh-keygen -t rsa

        7.2 复制公钥到keys，并将keys分发给slave1，在10.200.207.1，以app用户执行

cat ~/.ssh/id_rsa.pub >> /home/app/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
scp ~/.ssh/authorized_keys app@10.200.207.1:/home/app/.ssh

        7.3 复制公钥到keys，并将keys分发给slave2，在10.200.207.2，以app用户执行

cat ~/.ssh/id_rsa.pub >> /home/app/.ssh/authorized_keys
scp ~/.ssh/authorized_keys app@10.200.207.3:/home/app/.ssh

        7.4 复制公钥到keys，此时keys就拥有三台服务器的公钥了，再将keys分发给master和slave1，在10.200.207.3，以app用户执行

cat ~/.ssh/id_rsa.pub >> /home/app/.ssh/authorized_keys
scp ~/.ssh/authorized_keys app@10.200.207.1:/home/app/.ssh
scp ~/.ssh/authorized_keys app@10.200.207.2:/home/app/.ssh

        7.5 检验是否成功，在10.200.207.1、10.200.207.2、10.200.207.3，以app用户执行

ssh app@10.200.207.1
ssh app@10.200.207.2
ssh app@10.200.207.3

四、安装包准备

一般在公司内网的服务器，使用wegt下载要申请正向代理，审批非常麻烦。推荐用自己电脑下载好后，使用内网传输工具传上服务器。

        1.下载包列表（仅供参考,但hadoop需要3.3以上（否者fate启动不了libhdfs.so）和zookeeper需要3.6以上（不然yarn连接不上zookeeper），可以根据需求更改下载源或版本），三台服务器分别执行，以app用户

        1) https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/resources/jdk-8u192.tar.gz

        2) https://archive.apache.org/dist/hadoop/common/hadoop-3.3.1/hadoop-3.3.1.tar.gz

        3) https://downloads.lightbend.com/scala/2.12.10/scala-2.12.10.tgz

        4) https://archive.apache.org/dist/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz

        5) https://archive.apache.org/dist/zookeeper/zookeeper-3.6.3/apache-zookeeper-3.6.3-bin.tar.gz

        6) https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/resources/Miniconda3-py38_4.12.0-Linux-x86_64.sh

        7) https://github.com/rabbitmq/rabbitmq-server/releases/download/rabbitmq_v3_6_15/rabbitmq-server-generic-unix-3.6.15.tar.xz

        8) http://www.erlang.org/download/otp_src_19.3.tar.gz

        9) https://mirrors.aliyun.com/gnu/ncurses/ncurses-6.0.tar.gz

        2.解压并更改名字，三台服务器分别执行，以app用户

tar xvf hadoop-3.2.0.tar.gz -C /data/projects/common
tar xvf scala-2.12.10.tgz -C /data/projects/common
tar xvf spark-3.1.2-bin-hadoop3.2.tgz -C /data/projects/common
tar xvf zookeeper-3.4.14.tar.gz -C /data/projects/common
tar xvf jdk-8u192-linux-x64.tar.gz -C /data/projects/common/jdk
mv hadoop-3.2.0 hadoop
mv scala-2.12.10 scala
mv spark-3.1.2-bin-hadoop3.2 spark
mv zookeeper-3.4.14 zookeeper

        3.更改全用户或单用户环境参数，三台服务器分别执行，以app用户

#sudo vi /etc/profile or vi ~/.bashrc
sudo vi /etc/profile
export JAVA_HOME=/data/projects/common/jdk/jdk-8u192
export PATH=$JAVA_HOME/bin:$PATH
export HADOOP_HOME=/data/projects/common/hadoop
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
export SPARK_HOME=/data/projects/common/spark
export PATH=$SPARK_HOME/bin:$PATH

五、Zookeeper部署

        1.参数配置，三台服务器分别执行，以app用户

cd /data/projects/common/zookeeper/conf
cat >> zoo.cfg << EOF
> tickTime=2000
> initLimit=10
> syncLimit=5
> dataDir=/data/projects/common/zookeeper/data/zookeeper
> dataLogDir=/data/projects/common/zookeeper/logs
> clientPort=2181
> maxClientCnxns=1000
> server.1= 10.200.207.1:2888:3888
> server.2= 10.200.207.2:2888:3888
> server.3= 10.200.207.3:2888:3888
> EOF

        2.在dataDir下，根据server.后的数字，配置myid，以此类推，三台服务器分别执行，以app用户

#在10.200.207.1
echo 1>> /data/projects/common/zookeeper/data/zookeeper/myid
#在10.200.207.2
echo 2>> /data/projects/common/zookeeper/data/zookeeper/myid
#在10.200.207.3
echo 3>> /data/projects/common/zookeeper/data/zookeeper/myid

        3.启动服务，三台服务器分别执行，以app用户

nohup /data/projects/common/zookeeper/bin/zkServer.sh start &

        4. 检验zookeeper

/data/projects/common/zookeeper/bin/zkServer.sh status

六、Hadoop部署

        1.JDK路径配置，三台服务器分别执行，以app用户

cd /data/projects/common/hadoop/etc/hadoop
vi hadoop-env.sh
export JAVA_HOME=/data/projects/common/jdk/jdk1.8.0_192
vi yarn-env.sh
export JAVA_HOME=/data/projects/common/jdk/jdk1.8.0_192

        2.core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml参数配置

        2.1 core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/data/projects/common/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://fate-cluster</value>
    </property>
    <property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.GzipCodec,
            org.apache.hadoop.io.compress.DefaultCodec,
            org.apache.hadoop.io.compress.BZip2Codec,
            org.apache.hadoop.io.compress.SnappyCodec
        </value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.hosts</name>
        <value>*</value>
    </property>
    <property>
        <name>hadoop.proxyuser.root.groups</name>
        <value>*</value>
    </property>
    <property>
        <name>ha.zookeeper.quorum</name>
        <value>10.200.207.1:2181,10.200.207.2:2181,10.200.207.3:2181</value>
    </property>
    <!-- Authentication for Hadoop HTTP web-consoles -->
        <property>
                <name>hadoop.http.filter.initializers</name>
                <value>org.apache.hadoop.security.AuthenticationFilterInitializer</value>
        </property>
        <property>
                <name>hadoop.http.authentication.type</name>
                <value>simple</value>
        </property>
        <property>
                <name>hadoop.http.authentication.token.validity</name>
                <value>3600</value>
        </property>
        <property>
                <name>hadoop.http.authentication.signature.secret.file</name>
                <value>/data/projects/commom/hadoop/etc/hadoop/hadoop-http-auth-signature-secret</value>
        </property>
        <property>
                <name>hadoop.http.authentication.cookie.domain</name>
                <value></value>
        </property>
        <property>
                <name>hadoop.http.authentication.simple.anonymous.allowed</name>
                <value>true</value>
        </property>
</configuration>

        2.2 hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>3</value>
    </property>
    <property>
        <name>dfs.permissions.enabled</name>
        <value>false</value>
    </property>
    <property>
        <name>dfs.nameservices</name>
        <value>fate-cluster</value>
    </property>
    <property>
        <name>dfs.ha.namenodes.fate-cluster</name>
        <value>nn1,nn2</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.fate-cluster.nn1</name>
        <value>10.200.207.1:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.fate-cluster.nn1</name>
        <value>10.200.207.1:50070</value>
    </property>
    <property>
        <name>dfs.namenode.rpc-address.fate-cluster.nn2</name>
        <value>10.200.207.2:9000</value>
    </property>
    <property>
        <name>dfs.namenode.http-address.fate-cluster.nn2</name>
        <value>10.200.207.2:50070</value>
    </property>
    <property>
        <name>dfs.namenode.shared.edits.dir</name>
        <value>qjournal://10.200.207.1:8485;10.200.207.2:8485;10.200.207.3:8485/fate-cluster</value>
    </property>
    <property>
        <name>dfs.journalnode.edits.dir</name>
        <value>/data/projects/common/hadoop/data/journaldata</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:///data/projects/common/hadoop/data/dfs/nn/local</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/data/projects/common/hadoop/data/dfs/dn/local</value>
    </property>
    <property>
        <name>dfs.client.failover.proxy.provider.fate-cluster</name>
        <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
    </property>
    <property>
        <name>dfs.ha.fencing.methods</name>
        <value>shell(/bin/true)</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.private-key-files</name>
        <value>/home/app/.ssh/id_rsa</value>
    </property>
    <property>
        <name>dfs.ha.fencing.ssh.connect-timeout</name>
        <value>10000</value>
    </property>
    <property>
        <name>dfs.ha.automatic-failover.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
        <value>NEVER</value>
    </property>
</configuration>

        2.3 mapred-site.xml

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->

<!-- Put site-specific property overrides in this file. -->

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

        2.4 yarn-site.xml

<?xml version="1.0"?>
<!--
  Licensed under the Apache License, Version 2.0 (the "License");
  you may not use this file except in compliance with the License.
  You may obtain a copy of the License at

    http://www.apache.org/licenses/LICENSE-2.0

  Unless required by applicable law or agreed to in writing, software
  distributed under the License is distributed on an "AS IS" BASIS,
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
  See the License for the specific language governing permissions and
  limitations under the License. See accompanying LICENSE file.
-->
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.cluster-id</name>
        <value>rmCluster</value>
    </property>
    <property>
        <name>yarn.resourcemanager.ha.rm-ids</name>
        <value>rm1,rm2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>10.200.207.1:8088</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm1</name>
        <value>10.200.207.1</value>
    </property>
    <property>
        <name>yarn.resourcemanager.hostname.rm2</name>
        <value>10.200.207.2</value>
    </property>
    <property>
        <name>yarn.resourcemanager.zk-address</name>
        <value>10.200.207.1:2181,10.200.207.2:2181,10.200.207.3:2181</value>
    </property>
    <property>
        <name>yarn.resourcemanager.recovery.enabled</name>
        <value>true</value>
    </property>
    <property>
        <name>yarn.resourcemanager.store.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.recovery.ZKRMStateStore</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    <property>
        <name>yarn.nodemanager.pmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
    </property>

    <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>20480</value>
    </property>
    <property>
        <name>yarn.nodemanager.disk-health-checker.max-disk-utilization-per-disk-percentage</name>
        <value>97.0</value>
    </property>
</configuration>

        3. 新建目录，需要提前建立配置的目录；同理，当需要格式化Hadoop时，需要提前删除这些目录，在三台服务器分别执行，以app用户执行

cd  /data/projects/common/hadoop
mkdir ./tmp
mkdir -p ./data/dfs/nn/local
mkdir -p ./data/dfs/dn/local
mkdir -p ./data/journaldata

        4. 启动各组件

        4.1 必须最先启动，在10.200.207.1，10.200.207.2，10.200.207.3，以app用户执行

hadoop-daemon.sh start journalnode

        4.2 格式化后并启动NameNode，会在根据core-site.xml中的hadoop.tmp.dir配置生成个文件，在10.200.207.1，以app用户执行

hdfs namenode -format
hadoop-daemon.sh start namenode

        4.3 主动获取上一步生成的文件到备份master，在10.200.207.2.以app用户执行

hdfs namenode -bootstrapStandby

        4.4 通过zfkc去格式化zookeeper，为了连接上zookeeper集群，然后在zookeeper集群上面创建一个znode节点，启动HA，在10.200.207.1，以app用户执行

hdfs zkfc -formatZK

        4.5 备份master启动namenode，在10.200.207.2，以app用户执行

hadoop-daemon.sh start namenode

        4.6 启动zkfc，先启动的，Namenode会active，在10.200.207.1，以app用户执行

hadoop-daemon.sh start zkfc

        4.7 启动zkfc，在10.200.207.2，以app用户执行

hadoop-daemon.sh start zkfc

        4.8 启动ResoureManager, 先启动的会active，和NameNode的active错开，以充分利用资源，在10.200.207.2，以app用户执行

yarn-daemon.sh start resourcemanager

        4.9 启动ResoureManager，在10.200.207.1，以app用户执行

yarn-daemon.sh start resourcemanager

        4.10 启动NodeManager，在三台服务器分别执行，以app用户执行

yarn-daemon.sh start nodemanager

        4.11 启动DataNode，在三台服务器分别执行，以app用户执行

hadoop-daemon.sh start datanode

        4.12 检测各组件是否成功启动，首先看JPS，然后看http://10.200.207.1:50070和http://10.200.207.1:8088的状态

七、Spark部署

        1.重命名配置参数文件，在三台服务器分别执行，以app用户执行

cd /data/projects/common/spark/conf
mv workers.template workers
mv spark-defaults.conf.template spark-defaults.conf
mv spark-env.sh.template spark-env.sh

        2.加入如下内容到workers，在三台服务器分别执行，以app用户执行

VM-0-1-centos-Master
VM-0-1-centos-Slave-01
VM-0-1-centos-Slave-02

        3.加入如下内容到spark-default.conf, 其中spark.files是为了能获取Hadoop集群的名字，fate-cluster，在三台服务器分别执行，以app用户执行

spark.master yarn

spark.eventLog.enabled true

spark.eventLog.dir hdfs://fate-cluster/tmp/spark/event

# spark.serializer org.apache.spark.serializer.KryoSerializer

# spark.driver.memory 5g

# spark.executor.extraJavaOptions -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

spark.yarn.jars hdfs://fate-cluster/tmp/spark/jars/*.jar

spark.files file:///data/projects/common/spark/conf/hdfs-site.xml,file:///data/projects/common/spark/conf/core-site.xml

        4. 加入如下内容到spark-env.sh，在三台服务器分别执行，以app用户执行

export JAVA_HOME=/data/projects/common/jdk/jdk-8u192
export SCALA_HOME=/data/projects/common/scala
export HADOOP_HOME=/data/projects/common/hadoop
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export
SPARK_HISTORY_OPTS="-Dspark.history.fs.logDirectory=hdfs://fate-cluster/tmp/spark/event"
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib/native"
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:${HADOOP_HOME}/lib/native
export PYSPARK_PYTHON=/data/projects/fate/common/python/venv/bin/python
export PYSPARK_DRIVER_PYTHON=/data/projects/fate/common/python/venv/bin/python

SPARK_MASTER_WEBUI_PORT=8089
export SPARK_DAEMON_JAVA_OPTS="
-Dspark.deploy.recoveryMode=ZOOKEEPER
-Dspark.deploy.zookeeper.url=VM-0-1-centos,VM-0-1-centos-Slave-01,VM-0-1-centos-Slave-02
-Dspark.deploy.zookeeper.dir=/spark"

        5. 配置python环境，在三台服务器分别执行，以app用户执行

cd /data/projects/install
sh Miniconda3-py38_4.12.0-Linux-x86_64.sh -b -p /data/projects/fate/common/miniconda3

#Create a virtualized environment
/data/projects/fate/common/miniconda3/bin/python3.8 -m venv /data/projects/fate/common/python/venv

        6. 验证spark-shell和pyspark是否能正常启动，在三台服务器分别执行，以app用户执行

cd /data/projects/common/spark/jars
hdfs dfs -mkdir -p /tmp/spark/jars
hdfs dfs -mkdir -p /tmp/spark/event
hdfs dfs -put *jar /tmp/spark/jars

/data/projects/common/spark/bin/pyspark --master yarn --deploy-mode client
# or
/data/projects/common/spark/bin/spark-shell --master yarn --deploy-mode client 

          7. 查看WebUI

八、RabbitMQ部署      

        1. 配置Erlang

        1.1 解压安装包，在三台服务器分别执行，以app用户执行

cd /tmp
tar -zxvf otp_src_19.3.tar.gz  -C /data/projects/common

        1.2 依赖包安装，在三台服务器分别执行，以app用户执行

sudo yum install gcc-c++ automake cmake ncurses-devel openssl-devel wxGTK-devel fop java-1.8.0-openjdk-devel unixODBC-devel libssh2-devel perl

tar -zxvf ncurses-6.0.tar.gz
cd ncurses-6.0
./configure --with-shared --without-debug --without-ada --enable-overwrite  
make
make install

        1.3 配置当前会话变量，在三台服务器分别执行，以app用户执行

cd  /data/projects/common/otp_src_19.3/
export ERL_TOP=`pwd`

        1.4 编译，在三台服务器分别执行，以app用户执行

./configure --prefix=/data/projects/common/erlang
make
make install

       1.5 配置全用户环境变量，在三台服务器分别执行，以app用户执行

vi /etc/profile
export ERL_HOME=/data/projects/common/erlang
export PATH=$PATH:/data/projects/common/erlang/bin

        1.6 检验是否配置成功，输入erl是否成功进入Erlang Environment，在三台服务器分别执行，以app用户执行

        2. 配置RabbitMQ

        2.1 解压安装包，在三台服务器分别执行，以app用户执行

xz -d rabbitmq-server-generic-unix-3.6.15.tar.xz
tar xvf rabbitmq-server-generic-unix-3.6.15.tar  -C /data/projects/common

        2.2 启动单机RabbitMQ，生成cookie，并设置权限为400, 保证文件只读，在三台服务器分别执行，以app用户执行

cd /data/projects/common/rabbitmq_server-3.6.15 && ./sbin/rabbitmq-server -detached

        2.3 将cookie权限设置为400，保证文件只读

cd /home/app
chmod 400 .erlang.cookie

        2.4 以VM-0-1-centos-Master为基，拷贝cookie到另外两台服务器，前提还需关闭另外两台服务器的RabbitMQ服务，并删除erlang.cookie, 不然复制后操作会提示认证问题，因为erlang.cookie改变了，以app用户执行

#run on 10.200.207.2、10.200.207.3
sbin/rabbitmqctl stop
cd /home/app
sudo rm .erlang.cookie

#run on 10.200.207.1
scp /home/app/.erlang.cookie app@10.200.207.2:/home/app/.erlang.cookie
scp /home/app/.erlang.cookie app@10.200.207.3:/home/app/.erlang.cookie

        2.5 配置新路径，在三台服务器分别执行，以app用户执行

sudo vi /etc/profile
export RABBITMQ=/data/projects/fate/common/rabbitmq_server-3.6.15
export PATH=$RABBITMQ/sbin:$PATH

        2.6 重新启动RabbitMQ服务，并关闭应用，连接VM-0-1-centos-Master，并重启应用，在10.200.207.2、10.200.207.3， 以app用户执行

rabbitmq-server -detached
rabbitmqctl stop_app 
rabbitmqctl reset
rabbitmqctl join_cluster rabbit@VM-0-1-centos-Master
rabbitmqctl start_app

        2.7 检查状态，是否为standolone RabbitMQ，任一服务器，以app用户执行

rabbitmqctl cluster_status

        2.8 配置策略，成为镜像模式RabbitMQ，任一服务器，以app用户执行

rabbitmqctl set_policy ha-all "#" '{"ha-mode":"all"}'

        2.9 启动webUI服务，在三台服务器分别执行，以app用户执行

 rabbitmq-plugins enable rabbitmq_management
 rabbitmq-plugins enable rabbitmq_federation
 rabbitmq-plugins enable rabbitmq_federation_management

        2.10 新增用户、角色和权限，任一服务器，以app用户执行

rabbitmqctl add_user fate fate
rabbitmqctl set_user_tags fate administrator
rabbitmqctl set_permissions -p / fate ".*" ".*" ".*"

        2.11 登录用户查看数据，http://10.200.207.1:15672

充满文艺范的理工男
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
分布式架构:扩展性和高可用性的保证
禅与计算机程序设计艺术
06-06 660
分布式架构:扩展性和高可用性的保证 1. 背景介绍 随着互联网技术的快速发展和应用规模的不断扩大,传统的单体架构已经无法满足高并发、大流量、海量数据处理等方面的需求。分布式架构应运而生,通过将应用系统拆分为多个独立的服务,部署在不同的服务器节点上,实现系统的高扩展性、高可用性和高性能。本文
ELK结合Spark构建高可用架构及监控spark集群
学海无涯的博客
11-26 795
ELK 系统是如何进行架构的？ 为什么ELK 在 Spark 集群中是高可用性构架？ ELK 可以监控 Spark 集群的哪些性能？ ELK 可以监控 Spark 集群的哪些作业？ 概述 大数据处理技术越来越火,云计算平台也如火如荼,二者犹如 IT 列车的两个车轮,相辅相成,高速发展。如果我们将大数据处理平台比作一个可能会得病的人的话，那么日志分析系统就是给病人诊断的医生。由于集群甚大，几百...
【大数据平台搭建】Hadoop 3.1.3+Spark 3.0.0集群搭建
m0_64823626的博客
06-20 292
接着，打开网络中心->更改适配器选项->VMnet 8->属性->IPv4->属性->使用下列 IP 地址。vmware、centos 7、jdk 1.8、scala 2.12.11、hadoop 3.1.3、spark 3.0.0（spark 版本对 jdk、scala 版本有要求，详见官方文档）该部分主要是 vmware的安装、centos 7 的安装和配置、 jdk、sdk 的安装以及系统变量的配置。然后，在编辑->虚拟网络编辑器中查看 VMnet 8 的子网，选中 NAT 设置查看网关。
大数据篇：flume+kafka+spark stream+hbase做日志收集
热门推荐
yycc
06-30 1万+
flume+kafka+spark stream+hbase做日志收集 前言 flume+kafka+spark stream 是目前比较常用的一套大数据消息日志收集管理框架，至于最后是入到Hive或者者Hbase需看不同业务场景，下面以HBase为场景简述下整个配置与搭建流程以及这些框架如此搭配的优点。 flume+kafka+spark stream+hbase做日志收集...
FATE on Spark v1.8 部署 快速指北
gaoshiqing1248的博客
07-28 627
本文记录了FATE on Spark 的部署使用过程中粗浅的理解。
【ELK企业级日志分析系统】部署Filebeat+Kafka+Logstash+Elasticsearch+Kibana集群详解（EFLFK）
陌上花开，静待绽放！
07-13 1543
需做白日梦。你要清楚地知道你到底是谁，要去哪里。要成为一个什么样的人，很多人浑浑噩噩，得过且过。你能清楚地意识到，或者梦想去到达彼岸，有时候，人生境遇就是如此，轻而易举滴到达你的彼岸。
linux centos rabbitmq3.7.5 一键安装部署
qq_42250832的博客
06-27 892
在选择消息队列系统时，需要根据具体的业务需求和场景进行权衡和选择。它支持多种编程语言，如Python、Java、Ruby、PHP、C#、JavaScript、Go、Elixir、Objective-C和Swift等，使得不同技术栈之间的通信变得简单高效。综上所述，RabbitMQ作为一个开源的消息代理软件，通过其强大的消息传递、路由、队列和持久化等功能，为应用程序之间的通信提供了可靠、高效和可扩展的解决方案。通过消息队列，应用程序可以解耦不同的业务逻辑，降低系统之间的耦合度，提高系统的可扩展性和可维护性。
kafka和RabbitMQ总结
奔跑的小豪吖的博客
10-27 3028
现在常用的MQ组件有ActiveMQ、RabbitMQ、RocketMQ、ZeroMQ、MetaMQ，这里主要介绍RabbitMQ。 一、MQ特点 1、先进先出 不能先进先出，都不能说是队列了。消息队列的顺序在入队的时候就基本已经确定了，一般是不需人工干预的。而且，最重要的是，数据是只有一条数据在使用中。 这也是MQ在诸多场景被使用的原因。 2、发布订阅 发布订阅是一种很高效的处理方式，如果不发生阻塞，基本可以当做是同步操作。这种处理方式能非常有效的提升服务器利用率，这样的应用场景非常广泛。 3、持久化 持
Hadoop环境搭建学习之kafka集群（6）
panda_225400的博客
04-23 1680
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、kafka集群是什么？二、使用步骤1.环境准备2.集群规划3.kafka集群部署安装4.SpringBoot集成kafka总结 前言 关于kafka，网上的介绍有很多，简单说就是消息中间件，大数据项目中经常使用，我们项目是用于接收日志流水数据。相比其他消息中间件RabbitMQ优势在于： （1）性能高，每秒百万级别； （2）分布式，高可用，水平扩展。 提示：以下是本篇文章正文内容，下面案例可供参考 一、kafka集群是.
复习笔记5-nginx、rabbitmq、redis、jenkins、Docker、ELK、日志、Hadoop
lc95270的博客
08-07 1688
RabbitMq 几种工作模式 http://127.0.0.1:15672 guest/guest 消费模式 1、自动模式-消费者从消息队列获取消息后，服务端就认为该消息已经成功消费。 2、手动模式-消费者从消息队列获取消息后，服务端并没有标记为成功消费，消费者成功消费后需要将状态返回到服务端 1.简单模式：一个生产者，一个消费者（声明队列，往里面塞值取值即可） 2. work模式：一个生产者，多个消费者，每个消费者获取到的消息唯一。（声明队列，往里面塞值取值即可）且1.2都是一个消息只能被消费一
Java高性能系统常见设计与优化
04-03
6. **集群与容错**：通过集群部署来增加系统容量，并利用如Hadoop或Spark等工具实现大数据处理。 接下来，我们讨论“优化原则”。在优化Java应用时，遵循以下原则： 1. **测量先行**：通过监控和日志收集数据，...
flink1.14.3-on-cdh6.3.2
02-14
4. **集群部署**：如何在CDH集群上安装和配置Flink，包括环境变量设置、配置文件修改、服务启动和监控。 5. **数据源与数据接收**：Flink如何从CDH中的不同数据源（如Kafka、HDFS、RabbitMQ等）读取数据，以及如何...
0、知识点1
08-03
RabbitMQ 是基于 AMQP（Advanced Message Queuing Protocol）的，它提供高可用性、可靠性和可扩展性，适用于多种应用场景，如异步处理、解耦系统组件等。Kafka 则是一个分布式的流处理平台，它的设计目标是处理大...
梳理的一些java开发中用上的框架和开发工具，肯定会遗漏，欢迎补充
06-17
Doris 是一款实时分析数据库，支持多租户、分布式部署、高并发查询等特性。 #### 数据库集群 - **MHA**: 框架。MHA (Multi-Master High Availability) 是一套MySQL高可用性解决方案。 #### 分布式事务 - **Seata**...
Distributed-Algoritms
03-19
分布式数据库如Cassandra、MongoDB和Spanner，通过分区和复制技术，实现高性能和高可用性，适用于海量数据场景。 10. 分布式缓存 Redis和Memcached提供高速缓存功能，减少对后端数据库的压力，提升应用性能。 11...
000009 - Hadoop序列化
最新发布
张--小涛涛
08-04 658
1）什么是序列化序列化就是把内存中的对象，转换成字节序列（或其他数据传输协议）以便于存储到磁盘（持久化）和网络传输。反序列化就是将收到字节序列（或其他数据传输协议）或者是磁盘的持久化数据，转换成内存中的对象。2）为什么要序列化一般来说，“活的”对象只生存在内存里，关机断电就没有了。而且“活的”对象只能由本地的进程使用，不能被发送到网络上的另外一台计算机。然而序列化可以存储“活的”对象，可以将“活的”对象发送到远程计算机。3）为什么不用 Java 的序列化。
Spark核心知识要点（三）
ytp552200ytp的博客
07-25 1057
Spark核心知识要点（三）
大数据信用查询什么样的平台比较靠谱?
xiaoyikj的博客
08-01 695
随着互联网的发展和普及，大数据技术逐渐应用到各行各业中，其中之一就是信用查询领域，大数据信用查询平台能够为用户提供全面、准确的大数据信用评估，然而，由于市场上出现了许多不同的大数据信用查询平台，我们如何才能选择一个靠谱可信的平台呢?市面上很查询大数据的平台都只有一个单链接，用户查询完成之后，对报告有不清楚的地方，根本没有办法找到专人为其分析，如果一份报告自己看不懂，没有人解答，那么这次的钱就是白花了，而小易大数据平台则是市面上为数不多的提供大数据报告免费解读的平台，深受用户好评。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值