ELK 之 Elasticsearch集群部署(阿里云)(ansible-playbook自动化部署)

最新推荐文章于 2023-10-27 14:16:01 发布
最新推荐文章于 2023-10-27 14:16:01 发布
阅读量850 收藏
点赞数
分类专栏： 日志管理-ELK DevOps-Ansible
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_45942735/article/details/104321383
版权
使用yum安装Elasticsearch
  • 下载并安装ES的yum公钥
[root@es1 ~]#  rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch
  • 配置Elasticsearch的yum源
[root@es1 ~]#  vim /etc/yum.repos.d/elasticsearch.repo

[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1
[root@es1 ~]#  yum clean all
[root@es1 ~]#  yum repolist
[root@es1 ~]#  yum makecache
[root@es1 ~]#  yum -y install elasticsearch
[root@es1 ~]# vim  +54 /etc/elasticsearch/elasticsearch.yml

原为: network.host: 192.168.0.1

改为: network.host: 0.0.0.0

[root@es1 ~]# systemctl start elasticsearch.service
[root@es1 ~]# systemctl enabled elasticsearch.service
[root@es1 ~]# ss -nutlp  | grep java

tcp LISTEN 0 50 :::9200 ::😗 users:((“java”,pid=910,fd=109))
tcp LISTEN 0 50 :::9300 ::😗 users:((“java”,pid=910,fd=91))

[root@es1 ~]# curl 192.168.1.11:9200

{
“name” : “Geb”,
“cluster_name” : “elasticsearch”,
“cluster_uuid” : “tSfRijFeQaaOFVRWckJ8GA”,
“version” : {
“number” : “2.4.6”,
“build_hash” : “5376dca9f70f3abef96a77f4bb22720ace8240fd”,
“build_timestamp” : “2017-07-18T12:17:44Z”,
“build_snapshot” : false,
“lucene_version” : “5.5.4”
},
“tagline” : “You Know, for Search”

浏览器中输入ip地址和端口访问试试，如果访问被拒绝，添加防火墙设置（我的阿里云服务器是需要设置的）
[root@es1 ~]# iptables -I INPUT -p tcp --dport 9200 -j ACCEPT

利用ansible-playbook批量部署elasticsearch集群

主机名IP规划角色
es1192.168.1.11管理机
es2192.168.1.12集群node
es3192.168.1.13集群node
es4192.168.1.14集群node
es5192.168.1.15集群node

前提条件:

  1. 管理机安装ansible
  2. 创建好公钥和私钥并传给集群所有机器,能免密登入
  3. 确定所有机器时间同步

[root@es1 elasticsearch]# tree elasticsearch
elasticsearch
├── ansible.cfg
├── Centos-7.repo
├── elasticsearch.repo
├── elasticsearch.yml
├── essetup.retry
├── essetup.yml
├── hosts
└── myhost

[root@es1 elasticsearch]# vim ansible.cfg
[defaults]
inventory      = myhost
host_key_checking = False
[root@es1 elasticsearch]# vim Centos-7.repo
[base]
name=CentOS-$releasever - Base - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/os/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/os/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/os/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
[updates]
name=CentOS-$releasever - Updates - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/updates/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/updates/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/updates/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
[extras]
name=CentOS-$releasever - Extras - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/extras/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/extras/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/extras/$basearch/
gpgcheck=1
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
[centosplus]
name=CentOS-$releasever - Plus - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/centosplus/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/centosplus/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
[contrib]
name=CentOS-$releasever - Contrib - mirrors.aliyun.com
failovermethod=priority
baseurl=http://mirrors.aliyun.com/centos/$releasever/contrib/$basearch/
        http://mirrors.aliyuncs.com/centos/$releasever/contrib/$basearch/
        http://mirrors.cloud.aliyuncs.com/centos/$releasever/contrib/$basearch/
gpgcheck=1
enabled=0
gpgkey=http://mirrors.aliyun.com/centos/RPM-GPG-KEY-CentOS-7
[root@es1 elasticsearch]# vim elasticsearch.repo
[elasticsearch-2.x]
name=Elasticsearch repository for 2.x packages
baseurl=http://packages.elastic.co/elasticsearch/2.x/centos
gpgcheck=1
gpgkey=http://packages.elastic.co/GPG-KEY-elasticsearch
enabled=1

[root@es1 elasticsearch]# vim elasticsearch.yml

修改下面四行:

cluster.name: myelk
node.name: {{ansible_hostname}}
network.host: 0.0.0.0
discovery.zen.ping.unicast.hosts: [“es1”, “es2”, “es3”]

[root@es1 elasticsearch]# vim essetup.yml

---
- hosts: es
  remote_user: root
  tasks:
    - copy:
        src: "{{ item.src }}"
        dest: /etc/yum.repos.d/
        owner: root
        group: root
        mode: 0644
      with_items:
        - {src: Centos-7.repo}
        - {src: elasticsearch.repo}
    - copy:
        src: /etc/hosts
        dest: /etc/hosts
        owner: root
        group: root
        mode: 0644


    - name: install elasticsearch
      yum:
        name: java-1.8.0-openjdk,elasticsearch
        state: installed
    - template:
        src: elasticsearch.yml
        dest: /etc/elasticsearch/elasticsearch.yml
        owner: root
        group: root
        mode: 0644
      notify: reload elasticsearch
      tags: esconf
    - service:
        name: elasticsearch
        enabled: yes
  handlers:
    - name: reload elasticsearch
      service:
        name: elasticsearch
        state: restarted

[root@es1 elasticsearch]# vim hosts
# ::1           localhost localhost.localdomain localhost6 localhost6.localdomain6
127.0.0.1       localhost localhost.localdomain localhost4 localhost4.localdomain4
192.168.1.11    es1
192.168.1.12    es2
192.168.1.13    es3
192.168.1.14    es4
192.168.1.15    es5

[root@es1 elasticsearch]# vim myhost

[es]
192.168.1.[11:15]

[root@es1 elasticsearch]# ansible-playbook essetup.yml

PLAY [es] ************************************************************************************************************************************************************************************

TASK [Gathering Facts] ***********************************************************************************************************************************************************************
ok: [192.168.1.11]
ok: [192.168.1.15]
ok: [192.168.1.14]
ok: [192.168.1.12]
ok: [192.168.1.13]

TASK [copy] **********************************************************************************************************************************************************************************
ok: [192.168.1.11] => (item={u’src’: u’Centos-7.repo’})
changed: [192.168.1.12] => (item={u’src’: u’Centos-7.repo’})
changed: [192.168.1.13] => (item={u’src’: u’Centos-7.repo’})
changed: [192.168.1.15] => (item={u’src’: u’Centos-7.repo’})
changed: [192.168.1.14] => (item={u’src’: u’Centos-7.repo’})
ok: [192.168.1.11] => (item={u’src’: u’elasticsearch.repo’})
changed: [192.168.1.12] => (item={u’src’: u’elasticsearch.repo’})
changed: [192.168.1.13] => (item={u’src’: u’elasticsearch.repo’})
changed: [192.168.1.15] => (item={u’src’: u’elasticsearch.repo’})
changed: [192.168.1.14] => (item={u’src’: u’elasticsearch.repo’})

TASK [install elasticsearch] *****************************************************************************************************************************************************************
ok: [192.168.1.11]
changed: [192.168.1.12]
changed: [192.168.1.14]
changed: [192.168.1.15]
changed: [192.168.1.13]

TASK [template] ******************************************************************************************************************************************************************************
changed: [192.168.1.11]
changed: [192.168.1.13]
changed: [192.168.1.14]
changed: [192.168.1.12]
changed: [192.168.1.15]

TASK [service] *******************************************************************************************************************************************************************************
ok: [192.168.1.11]
changed: [192.168.1.12]
changed: [192.168.1.14]
changed: [192.168.1.13]
changed: [192.168.1.15]

RUNNING HANDLER [reload elasticsearch] *******************************************************************************************************************************************************
changed: [192.168.1.11]
changed: [192.168.1.14]
changed: [192.168.1.12]
changed: [192.168.1.13]
changed: [192.168.1.15]

PLAY RECAP ***********************************************************************************************************************************************************************************
192.168.1.11 : ok=6 changed=2 unreachable=0 failed=0
192.168.1.12 : ok=6 changed=5 unreachable=0 failed=0
192.168.1.13 : ok=6 changed=5 unreachable=0 failed=0
192.168.1.14 : ok=6 changed=5 unreachable=0 failed=0
192.168.1.15 : ok=6 changed=5 unreachable=0 failed=0

访问集群网页,确定是否部署成功
[root@elk ~]$ curl firefox http://192.168.1.11:9200/_cluster/health?pretty
502 Bad Gateway

502 Bad Gateway

nginx
{ "cluster_name" : "myelk", "status" : "green", "timed_out" : false, "number_of_nodes" : 5, "number_of_data_nodes" : 5, "active_primary_shards" : 0, "active_shards" : 0, "relocating_shards" : 0, "initializing_shards" : 0, "unassigned_shards" : 0, "delayed_unassigned_shards" : 0, "number_of_pending_tasks" : 0, "number_of_in_flight_fetch" : 0, "task_max_waiting_in_queue_millis" : 0, "active_shards_percent_as_number" : 100.0 }
A?J'aime?
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
通过ansible剧本自动化离线部署Elasticsearch
ganlangongzi的博客
02-16 454
通过ansible离线部署Elasticsearch单机和集群
coreos-with-ansible-example:在AWS上运行Coreos集群的示例ansible配置
05-20
8. **监控与日志管理**：了解如何使用Ansible配置监控工具（如Prometheus、Grafana）和日志收集解决方案（如Fluentd、Elasticsearch、Kibana，即ELK栈），以确保集群的健康和性能。 这个项目提供了实践这些知识的...
elasticsearch_ansible_cluster:Ansible Playbook使用现有的Elasticsearch角色进行3节点集群
03-06
elasticsearch_ansible_cluster
Ansible-playbook 部署 ElasticSearch 集群
lihongbao80的专栏
12-18 112
国内镜像下载 环境 HostName IP DES test1 192.168.180.46 主控机 test2 192.168.180.47 node-1 test3 192.168.180.48 node-2 test4 192.168.181.18 node-3 注意： 主控机不参加作业 1.在主控机上创建 elasticsearch 用户 [root@tes...
ELK
weixin_44379720的博客
04-01 1012
一、简介： ELK是三个开源软件的缩写，分别表示：Elasticsearch , Logstash, Kibana 1、Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三大功能。 它的特点有：分布式，零配置，自动发现，索引自动分片，索引副本机制，restful风格接口，多数据源，自动搜索负载等。 2、Logstash 主要是用来日志的搜集、分析、过滤日志的工具，支持大量的...
Ansible 部署 (ELK)----ES集群
李半仙
04-24 1182
Ansible 部署 (ELK)----ES集群 ELK需要的二进制包 https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.10.0-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/kibana/kibana-7.10.2-linux-x86_64.tar.gz https://artifacts.elastic.co/downloads/logst
Ansible自动化部署K8S集群（包含Ansible，Playbook的使用）
02-17
Ansible自动化部署Kubernetes，超级简单，几分钟就可以部署完成，有部署过程及源代码，Ansible的简单使用以及playbook的使用例子，有完整代码
ansible-playbook-elk
05-30
安装 Elasticsearch ELK Stack - 即 Elasticsearch、Logstash 和 Kibana。 要求 软件： 1.9.1 版 角色： ansible-galaxy install -r requirements.yml 角色 Java 弹性搜索 日志存储 基巴纳 nginx 测试 家庭...
Ansible-elastic-stack-testing.zip
09-18
在IT行业中，Ansible是一个广泛使用的自动化工具，尤其在配置管理、应用部署和任务执行方面表现出色。"Ansible-elastic-stack-testing.zip"文件显然包含了使用Ansible进行Elastic Stack测试的相关材料，其中可能包括...
Ansible-vagrant-elastic-stack.zip
09-18
本文将深入探讨“Ansible”这一自动化引擎，以及如何结合“Vagrant”搭建一个弹性堆栈（Elastic Stack），即由Elasticsearch、Logstash和Kibana组成的实时数据处理和分析平台。 “Ansible”是一款开源的自动化工具...
ansible-elasticsearch：适用于Elasticsearch的Ansible剧本
01-31
反弹性搜索 此角色适用于7.x和6.x 7.x / 6.x Elasticsearch的角色。 当前，这在基于Debian和RedHat的linux系统上有效。 经过测试的平台是： Ubuntu 14.04 Ubuntu 16.04 Ubuntu 18.04 Debian 8 Debian 9 Debian 10 CentOS的7 CentOS的8 亚马逊Linux 2 积极测试了最新的Elasticsearch版本7.x和6.x。 突破性变化 关于多实例支持的通知 如果您仅使用一个实例，但想从旧的ansible-elasticsearch版本，请按照 如果您在同一主机上安装多个Elasticsearch实例（具有不同的端口，目录和配置文件），请不要更新为ansible-elasticsearch> = 7.1.1 ，请改用此。 对于多实例使用案例，我们现在建议使用我们的官方映像（ ）来推荐Docker容器。 删除MAX_THREAD设置 Ansible-elasticsearch 7.5.2删除了自定义可在启动的最大线程数的选项。 我们发现，由于ansib
elk-ansible-playbook:使用Ansible Playbook在NCL中配置ELK服务
03-29
ELK安装手册 Ansible用来设置服务器和客户端ELK的剧本。 安装 使用软件包管理器安装 。 $ python -m pip install ansible 或者 $ sudo apt update $ sudo apt install software-properties-common $ sudo apt-add-repository --yes --update ppa:ansible/ansible $ sudo apt install ansible 要求 对于ELK_Server（最低要求） 2 CPU(s) 4GB Memory Large Disk Space 用法 启动所有机器。 （如果要使用VM，建议使用 ）。 如果您已经有现成的机器或虚拟机，请忽略。 将公钥复制到所有机器上 ssh-copy-id [username]@[machine_ip] 通过
使用 Ansible 部署 Elasticsearch 集群
cr7258的博客
10-08 1195
Elasticsearch 是一款开源的分布式搜索和分析引擎，我们可以在其中存储海量的数据并且快速地进行搜索，然而部署 Elasticsearch 集群的过程耗时且繁琐，好在 Elasticsearch 官方为我们提供了 Ansible Playbook 方便我们快速部署 Elasticsearch 集群。ansible-elasticsearch github 地址：https://github.com/elastic/ansible-elasticsearch。 本文将演示使用 Ansible 搭建一套
阿里云服务器部署ELK，采集业务日志和分析
peng_0129的博客
01-14 739
选择日志源，配置logstash采集并输送到elasticSeach 常见问题解决                    1、JVM内存溢出导致的 ES或者Logstash服务启不来，报错 insufficient memory                             解决：升级机器的内存和CPU；                             或者改elasti...
Ansible入门篇（九）：ElasticSearch自动化安装
厚积薄发
12-24 4272
ElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜索引擎。 ElasticSearch安装包下载 到ElasticSearch官网对应版本的安装包，本文以ElasticSearch 6.5.4为例。 将下载好的elasticsearch-6.5.0.tar.gz传到/opt/ansible/roles/files目录下，本文将所有tar安...
ansible playbook部署ELK集群系统
weixin_34356138的博客
12-16 400
一、介绍 总共4台机器，分别为 192.168.1.99 192.168.1.100 192.168.1.210 192.168.1.211 服务所在机器为： redis：192.168.1.211 logstash: 192.168.210 192.168.1.211 elasticsearch: 分别布置在四台（211不为主、不存储数据） kibana：192.168.1....
Elasticsearch 7.6 集群部署_ansible 一键安装
qq_36270681的博客
06-17 636
物理机（推荐配置）：（3,5,7）在多拆业务多搭几套 cpu：e5 2640 v3 *2 内存：64 推荐30G（官方） 磁盘：I/O 足够 空间够大 raid 10 推荐 10K elasticsearch 在7.x 之前，都需要安装JDK环境 elasticsearch在7.x开始，单独提供内置的JDK的安装包，如果下载的是NO JDK 的安装包，则需要安装JDK 环境 ...
【运维知识大神篇】两种方法，一键部署ElasticSearch集群（Shell+Ansible自动化部署）
最新发布
吾日三省吾身，想出类拔萃，要把知识学牢，学全，学深，学广。
10-27 911
本篇文章给大家介绍一下用Shell和Ansible两种方式，去一键部署ES（ElasticSearch）集群，实现在集群部署中的批量化操作，享受自动化部署的魅力。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值