Elasticsearch+kibana+x-pack+metricbeat 7.6.0单机版环境搭建过程

Elasticsearch+kibana+x-pack+metricbeat 7.6.0单机版环境搭建

一.简介

    2004年Compass诞生。2010年Shay重写Compass，变成著名的Elasticsearch。成为了Github上最活跃的项目之一，拥有超过736名Contributors。2012年Shay 成立商业公司 Elasticsearch 。2014年获得7000万美金融资。2015年，正式更名为Elastic，主要产品从单纯的Elasticsearch变为ELK(Elasticsearch ，Logstash和Kibana)。

     2018年，Elastic成功上市，市值达到惊人的50亿美金。目前，Elasticsearch已经有超过3.5亿的产品下载，一个汇聚100000多名开发人员的社区和超过5500名客户。

Elastic的几项核心开源组件，就是大家熟知的ELK或者ELKB。使得大数据处理的相关性、速度、规模化的三大问题，能够被Elastic解决。ELKB是什么？

     第一，是一套系统堆栈Elastic Stack。

     第二，是包括了倒排索引，列式存储等最核心的Elasticsearch搜索引擎。

     第三，是包含了Beats和Logstash的数据导入工具，其中Beats 是轻量型采集器的平台，从边缘机器向 Logstash 和 Elasticsearch 发送数据;Logstash 是动态数据收集管道，拥有可扩展的插件生态系统，能够与Elasticsearch产生强大的协同作用。

     第四，是数据展现工具Kibana ，它能够以图表的形式呈现数据，并且具有可扩展的用户界面，全方位配置和管理Elastic Stack。from- https://baijiahao.baidu.com/s?id=1620192105170157291&wfr=spider&for=pc

 

二.资源下载

      1. 官网下载地址 : https://www.elastic.co/cn/downloads/elasticsearch

         2.这位博主( Day____Day____Up)提供了百度云盘下载elasticsearch、kibana、logstash。地址 https://blog.csdn.net/weixin_37281289/article/details/101483434

         注：安装的组件请使用同一个版本号，以免出现不兼容现象

三. Elasticsearch安装配置 

      1.解压后的文件结构如下所示

       2.服务器配置

        elasticsearch 默认情况下不能使用root用户启动的，使用elasticsearch时请切换成普通用户，因普通用户对文件的添加描述等操作有限制，需进行一下配置，以免后续出错。

         vim /etc/security/limits.conf  追加以下配置

          * hard nofile 65536

          * soft nofile 65536

         查看更改是否生效  

             ulimit -n

         vi /etc/sysctl.conf  追加以下配置

             vm.max_map_count=655360

         查看更改是否生效  

             sysctl -p

        

         3.修改./config/ elasticsearch.yml 在末尾添加一下内容

          cluster.name: yh_cluster #集群名

          node.name: node_one #节点名

          network.host: 192.168.14.10 #本机ip

          http.port: 9200

          transport.tcp.port: 9300

          cluster.initial_master_nodes: ["node_one"] #集群节点名？目前不清楚这个属性

          discovery.zen.ping.unicast.hosts: ["192.168.14.10"] #ES集群中的各主机IP

          discovery.zen.minimum_master_nodes: 1 #最小节点数量，单机部署节点为1

          gateway.recover_after_nodes: 1 #超时后生效的节点数

          network.bind_host: 0.0.0.0 #最好带上，以免以后报错

          xpack.security.enabled: true #开启x-pack，7.x以后的版本已默认安装x-pack，配置即可令其生效

           xpack.security.transport.ssl.enabled: true #如需开启x-pack,此项必须设置

       4 .切换至elasticsearche目录

           ./elasticsearch               启动，终端显示信息

           ./elasticsearch -d           以守护进程方式启动

            终端无明显报错，访问配置的服务器端口 9200，看下类似下图的说明则说明elasticsearch安装成功。

         5.由于开启了x-pack，需要设置密码

           ./elasticsearch-setup-passwords interactive 

           运行命令并选择 yes 选项后，会要求对elastic、kibana、logstash等账号修改密码，最好全部都设成同一个密码以免忘记。

          

四.Kinana 安装配置 

      1.解压后的文件结构如下所

        2 .配置./config/ kibana.yml

           server.port: 5601

           server.host: "192.168.14.10"

           server.name: "my_kibana" #kibana服务名，随意起

           elasticsearch.hosts: " http://192.168.14.10:9200" #注：开始设置的是urls导致服务起不起来

           elasticsearch.username: "elastic" #默认的账号

           elasticsearch.password: "1234556" #设置的密码

           xpack.reporting.encryptionKey: "a_random_string"

           xpack.security.encryptionKey: "something_at_least_32_characters"

           elasticsearch.requestTimeout: 90000 #此处设小的话可能会报错

         3 .启停操作

            ./kibana 启动 

            nohup sh kibana >> /dev/null &  守护进程方式启动  

            访问  http://192.168.14.10:5601/ 页面无报错则说明配置成功  

            结束kibana进程

            ps -ef | grep node  获取kibana进程pid

            kill -9 $ pid

             

        注：建议等配置完 metricbeat 后再使用 kibana 

 

四.metricbeat 安装配置 

        1.修改 metricbeat.yml 

         setup.kibana:

             host: "192.168.14.10:5601"

        output.elasticsearch:

             hosts: ["192.168.14.10:9200"]

             username: "elastic"

             password: "1234556"

         2.启动 metricbeat 

            nohup ./metricbeat -c metricbeat.yml >> /dev/null &

          3 . 将 metricbeat 导入至kibana 的 dashboard 中

           ./metricbeat setup --dashboards

         4.访问 kibana 

            输入网址 http://192.168.14.10:5601/ 即可访问kibana，在 dashboard中可看到被监控服务器的相关指标

         

       

         本文完成了EKB环境的搭建，目的是减少各位的踩坑。

         参考博文：

          https://www.jianshu.com/p/54aa726f64d1

          https://blog.csdn.net/IBLiplus/article/details/86564516