ansible自动化部署flink-初稿

最新推荐文章于 2024-10-15 18:32:43 发布
最新推荐文章于 2024-10-15 18:32:43 发布
阅读量535 收藏 7
点赞数 17
分类专栏： ansible自动化部署+中间二进制部署方式 文章标签： ansible 自动化 flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/changyitt/article/details/141170598
版权

一、准备环境

1、准备机器，

本次以192.168.190.155，192.168.190.156，192.168.190.157，192.168.190.158四台虚机为例，本文操作全在管理机中。

机器IP

节点

CPU&内存

系统盘

存储

192.168.190.155

Ansible管理机

2C4G

50GB

50GB

192.168.190.158

Master/Worker（被管理机）

2C4G

50GB

50GB

192.168.190.157

Master/Worker（被管理机）

2C4G

50GB

50GB

192.168.190.156

Worker（被管理机）

2C4G

50GB

50GB

  1. 登录管理机，安装配置好ansible
  • 详细步骤
  1. 配置ansible的hosts，定义变量：

vi /etc/ansible/hosts

内容：

[flink_masters]  

flink-master ansible_host=192.168.190.158 flink_version=1.15.0  

  

[flink_workers]  

flink-worker1 ansible_host=192.168.190.157

flink-worker2 ansible_host=192.168.190.156  

  

[flink_masters:vars]  

flink_master_hostname=flink-master  

  

[flink_workers:vars]  

flink_worker_pool_size=4

  1. 配置被管理机的虚机环境：

vi /etc/ansible/change.yml

内容：

---

- name: Change

  hosts: all

  become: yes

    - name: close firewalld

        service: name=firewalld state=stopped

    - name: Mkdir

      shell: |

    mkdir /data && chmod 777 data

    mkdir /data/{flink,java,hadoop,prometheus,grafana}

    - name: Ensure hosts environment variables are set in /etc/hosts

      blockinfile:

        path: /etc/hosts

        block: |

          192.168.190.158 flink-master

          192.168.190.157 flink-worker1

          192.168.190.156 flink-worker2

        marker: "# {mark} ANSIBLE MANAGED BLOCK FOR hosts ENVIRONMENT VARIABLES"

        create: yes

        state: present

        insertafter: EOF

  1. 编辑jdk自动化部署文件：

vi /etc/ansible/jdk.yml

内容：

---

- name: Deploy Java-JDK-11.0.2

  hosts: all

  become: yes

  

  tasks:

    - name: Copy Jdk

      copy:

  src: /data/java/jdk-11.0.2_linux-x64_bin.tar.gz

  dest: /tmp/jdk-11.0.2_linux-x64_bin.tar.gz

  

- name: Extrack Jdk

      unarchive:

  src: /tmp/jdk-11.0.2_linux-x64_bin.tar.gz

  dest: /data/java/

  remote_src: yes

  

- name: Add JAVA_HOME to /etc/profile.d/

      blockinfile:  

        path: /etc/profile.d/java.sh

        create: yes  

        mode: '0644'  

        block: |    

          export JAVA_HOME=/opt/jdk-11.0.2

          export PATH=$JAVA_HOME/bin:$PATH

          export CLASSPATH=.:${JAVA_HOME}/jre/lib/rt.jar:${JAVA_HOME}/lib/dt.jar:${JAVA_HOME}/lib/tools.jar  

        marker: "# {mark} ANSIBLE MANAGED BLOCK - JAVA_HOME"

  1. 配置flink变量文件：

vi /etc/ansible/flin-conf.yaml.j2

内容：

# flink-conf.yaml.j2  

jobmanager.rpc.address: localhost

jobmanager.rpc.port: 6123

jobmanager.memory.process.size: 2048m

taskmanager.memory.process.size: 4096m

taskmanager.numberOfTaskSlots: 30

parallelism.default: 10

yarn.containers.vcores: 4

yarn.application-attempts: 10

metrics.scope.jm: <host>.jobmanager

metrics.scope.jm.job: <host>.jobmanager.<job_name>

metrics.scope.tm: <host>.taskmanager.<tm_id>

metrics.scope.tm.job: <host>.taskmanager.<tm_id>.<job_name>

metrics.scope.task: <host>.taskmanager.<tm_id>.<job_name>.<task_name>.<subtask_index>

metrics.scope.operator: <host>.taskmanager.<tm_id>.<job_name>.<operator_name>.<subtask_index>

state.backend: filesystem

state.checkpoints.dir: hdfs://{{ inventory_hostname }}:9000/flink-1.15.0/flink-checkpoints

state.savepoints.dir: hdfs://{{ inventory_hostname }}:9000/flink-1.15.0/flink-savepoints

state.backend.incremental: false

jobmanager.execution.failover-strategy: region

rest.port: 8081

rest.bind-port: 8085-8087

web.tmpdir: /opt/flink/flink-1.15.0/flink-web

web.upload.dir: /opt/flink/flink-1.15.0/jars

taskmanager.memory.managed.fraction: 0.1

taskmanager.memory.network.max: 200mb

taskmanager.memory.jvm-metaspace.size: 256mb

jobmanager.archive.fs.dir: hdfs://{{ inventory_hostname }}:9000/flink-1.15.0/completed-jobs

historyserver.archive.fs.dir: hdfs://{{ inventory_hostname }}:9000/flink-1.15.0/completed-jobs

historyserver.archive.fs.refresh-interval: 10000

restart-strategy.failure-rate.max-failures-per-interval: 3

restart-strategy.failure-rate.failure-rate-interval: 5 min

restart-strategy.failure-rate.delay: 10 s

  1. 编辑flink自动化部署文件：

vi /etc/ansible/flink.yml

内容：

---

- name: Deploy Flink-1.15.0

  hosts: all

  become: yes

  

  tasks:

    - name: Copy Flink

      copy:

  src: /data/flink/flink-1.15.0-bin-scala_2.12.tgz

  dest: /tmp/flink-1.15.0-bin-scala_2.12.tgz

  

- name: Extrack Flink

      unarchive:

  src: /tmp/flink-1.15.0-bin-scala_2.12.tgz

  dest: /data/flink/

  remote_src: yes

  

    - name: Ensure Flink configuration directory exists

      file:

        path: /data/flink/flink-1.15.0/conf

        state: directory

    - name: Template Flink configuration file

      ansible.builtin.template:

        src: /data/flink-conf.yaml.j2

        dest: /data/flink/flink-1.15.0/conf/flink-conf.yaml

    - name: Ensure masters environment variables are set in /data/flink/flink-1.15.0/conf/masters

      blockinfile:

        path: /data/flink/flink-1.15.0/conf/masters

        block: |

          192.168.190.158:8081

  192.168.190.157:8081

        marker: "# {mark} ANSIBLE MANAGED BLOCK FOR masters ENVIRONMENT VARIABLES"

        create: yes

        state: present

        insertafter: EOF

- name: Add FLINK_HOME to /etc/profile.d/

      blockinfile:  

        path: /etc/profile.d/flink.sh

        create: yes  

        mode: '0644'  

        block: |    

          export FLINK_HOME=/opt/flink-1.15.0

          export PATH=$PATH:$FLINK_HOME/bin  

        marker: "# {mark} ANSIBLE MANAGED BLOCK - FLINK_HOME"

  1. 配置hadoop变量文件：

vi /etc/ansible/vars_file/vars/hadoop_vars.yml

内容：

---  

# Hadoop environment variables  

Hadoop_version: 3.3.3

HADOOP_HOME: /data/Hadoop

JAVA_HOME: /data/java/jdk-11.0.2

HADOOP_CONF_DIR: /data/hadoop/hadoop-{{ hadoop_version }}/etc/hadoop  

HADOOP_PID_DIR: /data/hadoop/hadoop-{{ hadoop_version }}/PID  

HADOOP_LOG_DIR: /data/hadoop-dir/logs-{{ hadoop_version }}

  1. 编辑hadoop自动化部署文件：

vi /etc/ansible/hadoop.yml

内容：

---

- name: Deploy Hadoop-3.3.3

  hosts: all

  become: yes

  vars_files:  

    - vars/hadoop_vars.yml

  

  tasks:

    - name: Copy Hadoop

      src: /data/hadoop/hadoop-3.3.3.tar.gz

  dest: /tmp/hadoop-3.3.3.tar.gz

  

    - name: Extrack Hadoop

      unarchive:

  src: /tmp/hadoop-3.3.3.tar.gz

  dest: /data/hadoop/

  remote_src: yes

  

    - name: Copy Core-site.xml

      copy:

  src: /file/core-site.xml

  dest: /data/hadoop/hadoop-3.3.3/etc/hadoop/core-site.xml

  

    - name: Copy Yarn-site.xml

      copy:

  src: /file/yarn-site.xml

  dest: /data/hadoop/hadoop-3.3.3/etc/hadoop/yarn-site.xml

  

    - name: Copy Mapred-site.xml

      copy:

  src: /file/mapred-site.xml

  dest: /data/hadoop/hadoop-3.3.3/etc/hadoop/mapred-site.xml

  

    - name: Copy Hdfs-site.xml

      copy:

  src: /file/hdfs-site.xml

  dest: /data/hadoop/hadoop-3.3.3/etc/hadoop/hdfs-site.xml

    - name: Ensure hadoop-env environment variables are set in /data/hadoop/hadoop-3.3.3/etc/hadoop/hadoop-env.sh

      blockinfile:

        path: "{{ hadoop_conf_dir }}/hadoop-env.sh"

        block: |

          export JAVA_HOME={{ java_home }}  

          export HADOOP_OS_TYPE=${HADOOP_OS_TYPE:-$(uname -s)}  

          export HADOOP_CONF_DIR={{ hadoop_conf_dir }}  

          export HADOOP_PID_DIR={{ hadoop_pid_dir }}  

          export HADOOP_LOG_DIR={{ hadoop_log_dir }}

        marker: "# {mark} ANSIBLE MANAGED BLOCK FOR hadoop-env ENVIRONMENT VARIABLES"

        create: yes

        state: present

        insertafter: EOF

    - name: Ensure workers environment variables are set in /data/hadoop/hadoop-3.3.3/etc/hadoop/workers

      blockinfile:

        path: /data/hadoop/hadoop-3.3.3/etc/hadoop/workers

        block: |

          {% for host in groups.flink %}  

          {{ host }}  

          {% endfor %}

        marker: "# {mark} ANSIBLE MANAGED BLOCK FOR workers ENVIRONMENT VARIABLES"

        create: yes

        state: present

        insertafter: EOF

    - name: Ensure yarn-env environment variables are set in /data/hadoop/hadoop-3.3.3/etc/hadoop/yarn-env.sh

      blockinfile:

        path: "{{ hadoop_conf_dir }}/yarn-env.sh"

        block: |

          export JAVA_HOME={{ java_home }}

        marker: "# {mark} ANSIBLE MANAGED BLOCK FOR yarn-env ENVIRONMENT VARIABLES"

        create: yes

        state: present

        insertafter: EOF

- name: Add HADOOP_HOME to /etc/profile.d/

      blockinfile:  

        path: /etc/profile.d/java.sh

        create: yes  

        mode: '0644'  

        block: |    

          export HADOOP_HOEM=/opt/hadoop/hadoop-3.3.3

          export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

          export HADOOP_PID_DIR=${HADOOP_HOME}/pids

          export HADOOP_CLASSPATH=$(hadoop classpath)

     export HADOOP_CONF_DIR=/opt/hadoop/hadoop-3.3.3/etc/hadoop

     export JAVA_LIBRARY_PATH=$HADOOP_HOME/lib/native

     export FORMAT_MESSAGES_PATTERN_DISABLE_LOOKUPS=true   

        marker: "# {mark} ANSIBLE MANAGED BLOCK - FLINK_HOME"

CTSXWT
关注
专栏目录
订阅专栏
ansible自动化部署(playbook)
景天科技苑
01-12 1万+
上一章单个模块分别写命令使用的是Ad-Hoc命令， 这其实就是一个概念的名字，是相对于写Ansible playbook来说的。类似于在命令行敲入。shell命令和写shell脚本的关系。 我们敲入一些命令去比较快地完成一些事，而不需要将这些命令特别保存下来，这样的命令就叫做Ad-Hoc命令。
ansible自动化部署kafka
changyitt的博客
08-15 1119
本次以192.168.190.155，192.168.190.156，192.168.190.157，192.168.190.158四台虚机为例，本文操作全在管理机中。本次主要操作都在管理机：192.168.190.155上完成。Master/Worker（被管理机）Master/Worker（被管理机）Worker（被管理机）Ansible管理机。
Ansible自动化部署Flink、Hadoop
changyitt的博客
09-03 761
ansible-playbook hadoop.yml ##需要先cd /etc/ansible/roles/hadoop/tasks。ansible-playbook flink.yml ##需要先cd /etc/ansible/roles/flink/tasks。ansible-playbook java.yml ##需要先cd /etc/ansible/roles/java/tasks。-- 配置HDFS的DataNode的备份数量 -->
Ansible自动化运维工具---Playbook
Hard work results, technology is willing to dream
05-01 2942
Ansible自动化运维工具---playbook
Ansible自动化部署
莫叫闫小雨
06-27 1330
Ansible，自动化部署的精英，以无代理之姿简化运维，.yml指令下，编织基础设施的自动化未来。流畅部署，高效管理，DevOps的理想伙伴，引领IT运维新风尚。
Ansible自动化部署工具
Hard work results, technology is willing to dream
04-28 1658
Ansible自动化部署工具
Ansible自动化部署Flink单机版本
changyitt的博客
09-03 527
内容（ps：脚本中引用的剧本yaml文件最好写绝对路径。）：bin/bash。
Kolla-ansible自动化部署openstack
qq_45382565的博客
09-02 8799
kolla-ansible
ansible自动化部署nginx
changyitt的博客
08-09 805
tar -xvf ansible.tar.gz ##提前创建一个目录：mkdir ansible。将准备好的ansible.tar.gz和nginx.tar.gz上传至需要部署高可用的机器即可。登录被管理机192.168.190.154，执行systemctl status nginx。tar -xvf nginx.tar.gz ##提前创建一个目录：mkdir nginx。##管理机nginx.conf安装的路径。192.168.190.154 被管理机。##被管理机nginx.conf文件路径。
Ansible-ansible-junos-ztp.zip
09-18
Ansible-ansible-junos-ztp.zip,使用ansible自动设置和管理ztp服务器以向junos设备提供软件和启动配置的示例项目。,ansible是一个简单而强大的自动化引擎。它用于帮助配置管理、应用程序部署和任务自动化。
Ansible-ansible-role-php-xdebug.zip
09-18
Ansible-ansible-role-php-xdebug.zip,ansible角色-php xdebugansible角色：php xdebug,ansible是一个简单而强大的自动化引擎。它用于帮助配置管理、应用程序部署和任务自动化。
Ansible Roles与优化
hai40587的博客
10-13 777
Ansible Roles是一种将相关任务、变量、处理器和文件等组织在一起的模块化方式，旨在简化Ansible Playbook的编写和管理。通过Roles，可以将复杂的部署任务分解为多个可重用、易维护的模块，从而提高自动化脚本的可读性和可维护性。tasks：包含要执行的任务列表，是Role的核心部分。handlers：定义了在特定条件下触发的任务，如文件更改后的重启服务。files：存放要复制到远程主机的文件。templates：存放使用Jinja2模板语言编写的文件，允许在复制时进行变量替换。
Chapter 8 RH294 RHEL Automation with Ansible
peanutfish的专栏
10-13 748
【代码】Chapter 8 RH294 RHEL Automation with Ansible。
Ansible自动化运维实践：从入门到进阶
运维人生
10-11 752
Ansible由MichaelDeHaan于2012年创建，是一款基于Python编写的自动化工具，用于配置管理、应用部署和任务自动化。它采用SSH协议进行通信，无需在远程主机上安装额外的代理软件，极大地简化了部署和维护的复杂度。Ansible的核心概念包括Inventory（清单）、Modules（模块）、Playbooks（剧本）和Ad-Hoc Commands（即席命令）。Inventory：定义了Ansible可以管理的所有主机和组的信息。Modules。
ansible————playbook
最新发布
m0_53733914的博客
10-15 493
ad hoc命令是单行，一个简单的任务，运行一次。ansible真正强大的地方是使用ansible的playbook重复运行多次复杂的任务。一个play是是一组有序的任务，该paly对应着在inventory被选择的主机。一个playbook是一个包含若干个paly的text文本文件。plays让你将又长又复杂的管理任务变的简单。在palybook中，你可以用易懂和立即能运行的格式将tasks保存在play中。tasks本身由于书写方式的原因，就是一个一部一部部署你的架构或者应用的文档。
运维工具之ansible
qq_68289621的博客
10-10 1668
​ ansible是基于ssh架构的自动化运维工具，由python语言实现，通过ansible可以远程批量部署等。在主机清单配置文件定义变量，{{ }}引用变量，当{{}}开头是要用引号引起来。
网站集群批量管理-Ansible-进阶
qq_775288271的博客
10-10 1048
应用场景:1. 一般用于分发配置文件的时候2. 如果配置文件发生变化则重启服务,如果没有变化则重启3. 注意事项: handlers放在剧本的最后,否则都会被识别为handlers。
ansible————ansible的文件管理
m0_53733914的博客
10-15 280
ansible_manage变量设置在ansible.cfg文件中，可以使用jinja2中调用，可以放在开头防止其他人动。blockinfile模块：向文件中插入一段话，并在前面和后面写备注。fetch模块：从被管理主机拉取文件到控制节点。synchronize模块：文件同步。：创建文件/目录，删除/目录文件等。：将控制节点的文件送到被管理主机上。：与copy模块差不多，但是可以将。stat模块：显示文件的状态信息。ansible.cfg文件。lineinfile模块。模板内的变量替换成需要的。
使用Ansible自动化部署Linux系统
"这篇文档介绍了如何在Linux系统中使用Ansible进行自动化部署，涵盖了Ansible的安装、配置、以及常用模块的使用方法，包括command、user、cron、group和copy模块。" Ansible是一个强大的自动化工具，尤其适用于系统...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CTSXWT

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值