【FATE - 3】 FATE ON Spark（ZooKeeper+Hadoop）+ Pulsar + Nginx 部署指南

FATE ON Spark（Zookeeper+Hadoop）+ Pulsar + Nginx部署指南

本文参考至
1、FATE ON Spark部署指南
2、FATE on Spark with Pulsar 部署指南

1.基础环境配置

1.1 hostname配置(FATE-2中已配置)

1）修改主机名

在128 root用户下执行：

hostnamectl set-hostname VM-0-1-centos

在 129 root用户下执行：

hostnamectl set-hostname VM-0-2-centos

2）加入主机映射

在目标服务器（128、129 ）root用户下执行：

vim /etc/hosts
192.168.26.128 VM-0-1-centos
192.168.26.129 VM-0-2-centos

1.2 关闭SELinux((FATE-2中已配置))

在目标服务器（128、129）root用户下执行：

确认是否已安装SELinux

CentOS系统执行：

rpm -qa | grep selinux

如果已安装了SELinux就执行：

setenforce 0

1.3 修改Linux系统参数(FATE-2中已配置)

在目标服务器（128、129、130）root用户下执行：

vim /etc/security/limits.conf
* soft nofile 65536
* hard nofile 65536

#   此处需要操作
vim /etc/security/limits.d/20-nproc.conf
* soft nproc unlimited

1.4 关闭防火墙((FATE-2中已配置))

在目标服务器（128、129、130）root用户下执行

CentOS系统：

systemctl disable firewalld.service
systemctl stop firewalld.service
systemctl status firewalld.service

1.5 软件环境初始化

在目标服务器（128、129、130）root用户下执行

1）创建目录

mkdir -p /data/projects/fate
mkdir -p /data/projects/install
chown -R app:app /data/projects

2）安装依赖

#centos
yum -y install gcc gcc-c++ make openssl-devel gmp-devel mpfr-devel libmpc-devel libaio numactl autoconf automake libtool libffi-devel snappy snappy-devel zlib zlib-devel bzip2 bzip2-devel lz4-devel libasan lsof sysstat telnet psmisc

2.部署依赖组件

注：此指导安装目录默认为/data/projects/install，执行用户为app，安装时根据具体实际情况修改。

2.1 获取安装包

在目标服务器（ 128 具备外网环境）app用户下执行:

mkdir -p /data/projects/install
cd /data/projects/install
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/python-env-miniconda3-4.5.4.tar.gz
#  JDK不需要下载，已经存在，只需要copy至/data/projects/install目录下即可
# wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/jdk-8u192-linux-x64.tar.gz
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/mysql-fate-8.0.13.tar.gz
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/openresty-1.17.8.2.tar.gz
# fate 安装版本 1.6.0
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/pip-packages-fate-1.6.0.tar.gz
wget https://webank-ai-1251170195.cos.ap-guangzhou.myqcloud.com/FATE_install_1.6.0_release.tar.gz

#传输到 129
scp *.tar.gz app@192.168.26.129:/data/projects/install

2.2 操作系统参数检查

在目标服务器（128、129、130）app用户下执行

#文件句柄数，不低于65535
ulimit -n
65535

#用户进程数，不低于64000，
ulimit -u   
65535   

Centos7 修改用户进程数:

因为修改 /etc/security/limits.conf + /etc/security/limits.d/20-nproc.conf 不生效；
故修改 /etc/systemd/system.conf

DefaultLimitNOFILE=65536
DefaultLimitNPROC=65535

重启后生效；

2.3 部署MySQL

在目标服务器（128、129）app 用户下执行

1）MySQL安装：

#建立mysql根目录
mkdir -p /data/projects/fate/common/mysql
mkdir -p /data/projects/fate/data/mysql

#解压缩软件包
cd /data/projects/install
tar xzvf mysql-*.tar.gz
cd mysql
tar xf mysql-8.0.13.tar.gz -C /data/projects/fate/common/mysql

#配置设置
mkdir -p /data/projects/fate/common/mysql/mysql-8.0.13/{
   conf,run,logs}
cp service.sh /data/projects/fate/common/mysql/mysql-8.0.13/
cp my.cnf /data/projects/fate/common/mysql/mysql-8.0.13/conf

#初始化
cd /data/projects/fate/common/mysql/mysql-8.0.13/
./bin/mysqld --initialize --user=app --basedir=/data/projects/fate/common/mysql/mysql-8.0.13 --datadir=/data/projects/fate/data/mysql > logs/init.log 2>&1
cat logs/init.log |grep root@localhost
#注意输出信息中root@localhost:后的是mysql用户 的初始密码，需要记录，后面修改密码需要用到

#启动服务！！！！
cd /data/projects/fate/common/mysql/mysql-8.0.13/
nohup ./bin/mysqld_safe --defaults-file=./conf/my.cnf --user=app >>logs/mysqld.log 2>&1 &

#修改mysql root用户密码
cd /data/projects/fate/common/mysql/mysql-8.0.13/
./bin/mysqladmin -h 127.0.0.1 -P 3306 -S ./run/mysql.sock -u root -p password "1"
Enter Password:【输入root初始密码】

#验证登陆
cd /data/projects/fate/common/mysql/mysql-8.0.13/
./bin/mysql -u root -p -S ./run/mysql.sock
Enter Password:【输入root修改后密码:1】

2）建库授权和业务配置

#创建fate_flow库
mysql>CREATE DATABASE IF NOT EXISTS fate_flow;

#创建远程用户和授权（不需操作，因为选用的是root账号）
1) 128 执行
mysql>GRANT ALL ON *.* TO 'root'@'localhost';
mysql>flush privileges;

2) 129 执行
mysql>GRANT ALL ON *.* TO 'root'@'localhost';;
mysql>flush privileges;

#校验
mysql>select User,Host from mysql.user;
mysql>show databases;
mysql>use fate_flow;
mysql>show tables;

2.4 部署JDK(128、129、130上已部署JDK在/data/projects/common/jdk 下)

2.5 部署python（部署完python后就可以启动spark校验了）

在目标服务器（ 128 、 129 ）app用户下执行:

#创建python虚拟化安装目录
mkdir -p /data/projects/fate/common/python

#安装miniconda3
cd /data/projects/install
tar xvf python-env-miniconda3-4.5.4.tar.gz
cd python-env
sh Miniconda3-4.5.4-Linux-x86_64.sh -b -p /data/projects/fate/common/miniconda3

#安装virtualenv和创建虚拟化环境
/data/projects/fate/common/miniconda3/bin/pip install virtualenv-20.0.18-py2.py3-none-any.whl -f . --no-index

/data/projects/fate/common/miniconda3/bin/virtualenv -p /data/projects/fate/common/miniconda3/bin/python3.6 --no-wheel --no-setuptools --no-download /data/projects/fate/common/python/venv

#安装依赖包
cd /data/projects/install
tar xvf pip-packages-f