Ansible入门篇（八）：Spark自动化安装

Spark是专为大规模数据处理而设计的快速通用的计算引擎，底层是基于Scala开发。

注：以下是基于Spark的Standalone模式自动化安装

Spark安装包下载

到 Spark官网下载对应安装包，本文以Spark 2.2.0版本为例。

将下载好的 spark-2.2.0-bin-hadoop2.7.tgz上传到/opt/ansible/roles/files目录下，本文将所有tar安装包都进行了重命名操作，比如将 spark-2.2.0-bin-hadoop2.7.tgz解压后重命名为spark并打成spark.tar.gz包。

 

编写主机hosts  

编辑/opt/ansible/hosts文件添加部署Spark机器IP 

[spark_servers]
172.18.18.120   
172.18.18.121   
172.18.18.122   

 

编写Spark配置文件 

将spark-2.2.0-bin-hadoop2.7.tgz解压后的配置文件spark-env.sh和slaves修改成自己的配置并重命名为spark-env.sh.j2和slaves.spark.j2，然后上传到/opt/ansible/roles/templates/ 目录下。由于配置文件较多，本文不进行展示。

 

编写参数配置main.yml

编辑/opt/ansible/roles/vars/main.yml文件，添加变量  

BigdataDir: /opt/hzgc  

AnsibleDir: /opt/ansible

 

 编写执行文件spark.yml 

- hosts: spark_servers   remote_user: root   roles:   - roles     tasks:    - name: copy and unzip spark      unarchive: src={{AnsibleDir}}/roles/files/spark.tar.gz dest={{BigdataDir}}    - name: install configuration file slaves for spark      template: src={{AnsibleDir}}/roles/templates/slaves.spark.j2 dest={{BigdataDir}}/spark/conf/slaves    - name: install configuration file spark-env for spark      template: src={{AnsibleDir}}/roles/templates/spark-env.sh.j2 dest={{BigdataDir}}/spark/conf/spark-env.sh    - name: change sbin file      file: dest={{BigdataDir}}/spark/sbin mode=0755 recurse=yes    - name: change bin file      file: dest={{BigdataDir}}/spark/bin mode=0755 recurse=yes    - name: start spark cluster      shell: sh {{BigdataDir}}/spark/sbin/start-all.sh      tags:       - start spark

 

执行Zookeeper安装部署 及启动 

ansible-playbook -i hosts  yml/spark.yml 

查看是否安装成功：jps 

 

文章目录：

• Ansible入门篇：playbook的使用 
• Ansible入门篇（一）：环境的准备
• Ansible入门篇（二）：SSH配置免密互信
• Ansible入门篇（三）：JDK自动化安装
• Ansible入门篇（四）：Scala自动化安装
• Ansible入门篇（五）：Zookeeper自动化安装
• Ansible入门篇（六）：Kafka自动化安装
• Ansible入门篇（七）：Hadoop自动化安装
• Ansible入门篇（八）：Spark自动化安装
• Ansible入门篇（九）：ElasticSearch自动化安装
• Ansible入门篇（十）：集群hosts自动化配置