文章目录
安装环境准备
Atlas 安装分为:集成自带的 HBase + Solr;集成外部的 HBase + Solr。通常企业开发中选择集成外部的 HBase + Solr,方便项目整体进行集成操作。
以下是 Atlas 所以依赖的环境及集群规划。
服务名称 | 子服务 | 服务器 hadoop102 | 服务器 hadoop103 | 服务器 hadoop104 |
---|---|---|---|---|
HDFS | NameNode | √ | ||
DataNode | √ | √ | √ | |
SecondaryNameNode | √ | |||
Yarn | Resourcemanager | √ | ||
NodeManager | √ | √ | √ | |
HistoryServer | JobHistoryServer | √ | ||
Zookeeper | QuorumPeerMain | √ | √ | √ |
Kafka | Kafka | √ | √ | √ |
HBase | HMaster | √ | ||
HRegionServer | √ | √ | √ | |
Solr | Jar | √ | √ | √ |
Hive | Hive | √ | ||
MySQL | MySQL | √ | ||
Atlas | Atlas | √ |
安装 JDK8、Hadoop3.1.3
安装 MySQL、Hive3.1.2
安装 Zookeeper3.5.7
Zookeeper,虽然版本不同,但是安装步骤是一样的。
安装 Kafka2.4.1
Kafka,虽然版本不同,但是安装步骤是一样的。
安装 Hbase2.0.5
Hbase,虽然版本不同,但是安装步骤是一样的。
安装 Solr-7.7.3
1,在每台节点创建系统用户 solr
[root@hadoop102 ~]$ sudo useradd solr
[root@hadoop102 ~]$ echo solr | sudo passwd --stdin solr
[root@hadoop103 ~]$ sudo useradd solr
[root@hadoop103 ~]$ echo solr | sudo passwd --stdin solr
[root@hadoop104 ~]$ sudo useradd solr
[root@hadoop104 ~]$ echo solr | sudo passwd --stdin solr
2,在 102 节点上传 solr 安装包 solr-7.7.3.tgz,并解压到/opt/module 目录,重命名为 solr
[root@hadoop102 solr]$ tar -zxvf solr-7.7.3.tgz -C /opt/module/
[root@hadoop102 solr]$ cd /opt/module
[root@hadoop102 module]$ mv solr-7.7.3/ solr
3,修改 solr 目录的所有者为 solr 用户
[root@hadoop102 module]$ sudo chown -R solr:solr /opt/module/solr
4,修改 solr 配置文件
修改/opt/module/solr/bin/solr.in.sh 文件中的以下属性
[root@hadoop102 solr]$ cd /opt/module/solr/bin/
[root@hadoop102 bin]$ sudo vim solr.in.sh
找到 ZK_HOST 参数,删掉注释,然后修改
ZK_HOST="hadoop102:2181,hadoop103:2181,hadoop104:2181"
5,分发 solr(看好其它虚拟机是否也是solr用户)
[root@hadoop102 module]$ sudo xsync /opt/module/solr
6,启动 solr 集群
1)启动 Zookeeper 集群
[root@hadoop102 module]$ zk.sh start
2)启动 solr 集群
出于安全考虑,不推荐使用 root 用户启动 solr,此处使用 solr 用户,在所有节点执行以下命令启动 solr 集群
[root@hadoop102 module]$ sudo -i -u solr /opt/module/solr/bin/solr start
出现 Happy Searching! 字样表明启动成功。
说明:上述警告内容是:solr 推荐系统允许的最大进程数和最大打开文件数分别为 65000 和65000,而系统默认值低于推荐值。如需修改可参考以下步骤,修改完需要重启方可生效,此处可暂不修改。
(1)修改打开文件数限制
修改/etc/security/limits.conf 文件,增加以下内容
* soft nofile 65000
* hard nofile 65000
(2)修改进程数限制
修改/etc/security/limits.d/20-nproc.conf 文件
* soft nproc 65000
(3)重启 solr 服务
7,访问 web 页面
默认端口为 8983,可指定三台节点中的任意一台 IP,http://hadoop102:8983
提示:UI 界面出现 Cloud 菜单栏时,Solr 的 Cloud 模式才算部署成功。