efk介绍及安装部署

目录

一.EFK介绍:

EFK 不是一个软件,而是一套解决方案。EFK 是三个开源软件的缩写,Elasticsearch,FileBeat,Kibana。其中 ELasticsearch 负责日志分析和存储,FileBeat 负责日志收集,Kibana 负责界面展示。它们之间互相配合使用,完美衔接,高效的满足了很多场合的应用,是目前主流的一种日志分析系统解决方案。
Filebeat相对于Logstash的好处:

  1. 侵入低,无需修改程序目前任何代码和配置

  2. 相对于Logstash来说性能高,Logstash对于IO占用很大

    Filebeat与Logstash对比:

Filebeat也不完全是好过Logstash,毕竟Logstash对于日志的格式化这些相对Filebeat好很多,Filebeat只是将日志从日志文件中读取出来,当然如果你日志本身是有一定格式的,Filebeat也可以格式化,但是相对于Logstash来说,还是差一点。

  • Elasticsearch

Elasticsearch是个开源分布式搜索引擎,提供搜集、分析、存储数据三大功能。它的特点有:分布式,零配置,自动发现,索引自动分片,索引副本机制,restful风格接口,多数据源,自动搜索负载等。

  • Filebeat

Filebeat隶属于Beats。目前Beats包含六种工具:

  1. Packetbeat(搜集网络流量数据)

  2. Metricbeat(搜集系统、进程和文件系统级别的 CPU 和内存使用情况等数据)

  3. Filebeat(搜集文件数据)

  4. Winlogbeat(搜集 Windows 事件日志数据)

  5. Auditbeat( 轻量型审计日志采集器)

  6. Heartbeat(轻量级服务器健康采集器)

  • Kibana

Kibana可以为 Logstash 、Beats和 ElasticSearch 提供的日志分析友好的 Web 界面,可以帮助汇总、分析和搜索重要数据日志。

二.EFK安装部署

EFK(Elasticsearch+Filebeat+Kibana)安装Elasticsearch:安装kibana(一台)安装filebeat(需要收集日志的机器都装)

EFK(Elasticsearch+Filebeat+Kibana)架构图:'

安装JDK:

//Elasticsearch需要运行在Java 8 及以上,所以需要先安装Java8,下载JavaJDK wget http://download.oracle.com/otn-pub/java/jdk/8u181-b13/96a7b8442fe848ef90c96a2fad6ed6d1/jdk-8u181-linux-x64.tar.gz?AuthParam=1536892035_945cb24c750d0971b8c5b1925cc723a9 tar -zxvf jdk-8u181-linux-x64.tar.gz vi /etc/profile //文件末尾加上如下配置 JAVA_HOME=/usr/local/jdk1.8.0_181/ JRE_HOME=$JAVA_HOME/jre CLASS_PATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$JRE_HOME/lib PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin export JAVA_HOME JRE_HOME CLASS_PATH PATH

登录后复制

生效:

source /etc/profile

登录后复制

查看是否安装成功:

java -version

登录后复制安装Elasticsearch:

下载Elasticsearch,本文以Elasticsearch7.8.0为例

注意:Elasticsearch、Kibana、FileBeat一定要使用相同的版本

root@t1:~# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.8.0-linux-x86_64.tar.gz

解压之后修改配置:

mv elasticsearch-7.8.0 /usr/local/ cd /usr/local/elasticsearch-7.8.0
vim config/elasticsearch.yml cluster.name: log-efk network.host: 0.0.0.0 http.port: 9200
注意: 由于Elasticsearch不能使用root用户打开,所以需要专门创建一个用户来启动Elasticsearch
$ user add elastic #设置密码 $ passwd elastic #需要输入2次密码 #授权 $ chmod -R 777 /usr/local/elasticsearch-7.8.0 #切换用户 $ su elastic
启动Elasticsearch:
elastic@t1:/usr/local/elasticsearch-7.8.0$ ./bin/elasticsearch
登录后复制
出现了错误信息:
ERROR: [2] bootstrap checks failed [1]: max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144] [2]: the default discovery settings are unsuitable for production use; at least one of [discovery.seed_hosts, discovery.seed_providers, cluster.initial_master_nodes] must be configure
登录后复制
root权限下操作:
root@t1:~# vim /etc/sysctl.conf vm.max_map_count = 262144
登录后复制
执行命令:
sysctl -p
登录后复制
vim elasticsearch.yml cluster.initial_master_nodes: [“node-1”]
登录后复制
再次启动无报错,则:
nohup ./elasticsearch & //后台运行

登录后复制

elastic@t1:/usr/local/elasticsearch-7.8.0/bin$ curl 127.0.0.1:9200 //执行此命令,得到类似以下json { "name" : "t1", "cluster_name" : "elasticsearch", "cluster_uuid" : "bGYHgKCTSYmgGcHGoG0OlQ", "version" : { "number" : "7.8.0", "build_flavor" : "default", "build_type" : "tar", "build_hash" : "757314695644ea9a1dc2fecd26d1a43856725e65", "build_date" : "2020-06-14T19:35:50.234439Z", "build_snapshot" : false, "lucene_version" : "8.5.1", "minimum_wire_compatibility_version" : "6.8.0", "minimum_index_compatibility_version" : "6.0.0-beta1" }, "tagline" : "You Know, for Search" }

安装kibana(一台)

下载并解压:
wget https://artifacts.elastic.co/downloads/kibana/kibana-7.8.0-linux-x86_64.tar.gz tar zxvf kibana-7.8.0-linux-x86_64.tar.gz
登录后复制
修改配置:
root@t2:/usr/local/kibana-7.8.0-linux-x86_64/config# vim kibana.yml elasticsearch.hosts: ["http://192.168.0.213:9200”] server.host: “0.0.0.0" kibana.index: ".kibana"
登录后复制注意: elasticsearch.hosts为elasticsearch的地址,server.host默认是localhost,如果只是本地访问可以默认localhost,如果需要外网访问,可以设置0.0.0.0
启动kibana:
root@t2:/usr/local/kibana-7.8.0-linux-x86_64/bin# ./kibana
登录后复制
报错: Kibana should not be run as root. Use --allow-root to continue.
Kibana不建议root用户启动,如果非要用root启动,则加上参数 --allow-root
root@t2:/usr/local/kibana-7.8.0-linux-x86_64/bin# nohup ./kibana --allow-root &
登录后复制安装filebeat(需要收集日志的机器都装)
下载并解压:
wget https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.8.0-linux-x86_64.tar.gz tar zxvf filebeat-7.8.0-linux-x86_64.tar.gz
登录后复制
修改配置文件:
root@t1:/usr/local/filebeat-7.8.0-linux-x86_64# vim filebeat.yml //找到类似配置修改 filebeat.inputs: - type: log enabled: true paths: - /tomcat/logs/catalina.out //要监听的日志路径 multiline.pattern: ^\[ multiline.negate: true multiline.match: after setup.kibana: host: “192.168.0.212:5601” output.elasticsearch: hosts: [“192.168.0.213:9200”]
注意: 格式以两个空格位子级,enabled默认为false,需要改成true才会收集日志。
启动filebeat:
root@t1:/usr/local/filebeat-7.8.0-linux-x86_64# ./filebeat -e -c /usr/local/filebeat-7.8.0-linux-x86_64/filebeat.yml
登录后复制
浏览器打开http://kibanaip:5601(kibanaip替换为你装kibana的公网ip)
设置kibana:进入Management—>Stack Management—>Index Patterns

选择pattern,如果没有就创建一个。
创建完成后,在菜单栏Discover可以看到日志界面。
若要让Kibana显示中文界面,则需要改Kibana配置文件:
root@t2:/usr/local/kibana-7.8.0-linux-x86_64/config# vim kibana.yml i18n.locale: "zh-CN"
登录后复制
至此,EFK搭建完成。
elk
  • 22
    点赞
  • 14
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
微服务是什么?微服务是用于构建应用程序的架构风格,一个大的系统可由一个或者多个微服务组成,微服务架构可将应用拆分成多个核心功能,每个功能都被称为一项服务,可以单独构建和部署,这意味着各项服务在工作和出现故障的时候不会相互影响。为什么要用微服务?单体架构下的所有代码模块都耦合在一起,代码量大,维护困难,想要更新一个模块的代码,也可能会影响其他模块,不能很好的定制化代码。微服务中可以有java编写、有Python编写的,他们都是靠restful架构风格统一成一个系统的,所以微服务本身与具体技术无关、扩展性强。大型电商平台微服务功能图为什么要将SpringCloud项目部署到k8s平台?SpringCloud只能用在SpringBoot的java环境中,而kubernetes可以适用于任何开发语言,只要能被放进docker的应用,都可以在kubernetes上运行,而且更轻量,更简单。SpringCloud很多功能都跟kubernetes重合,比如服务发现,负载均衡,配置管理,所以如果把SpringCloud部署到k8s,那么很多功能可以直接使用k8s原生的,减少复杂度。Kubernetes作为成熟的容器编排工具,在国内外很多公司、世界500强等企业已经落地使用,很多中小型公司也开始把业务迁移到kubernetes中。kubernetes已经成为互联网行业急需的人才,很多企业都开始引进kubernetes技术人员,实现其内部的自动化容器云平台的建设。对于开发、测试、运维、架构师等技术人员来说k8s已经成为的一项重要的技能,下面列举了国内外在生产环境使用kubernetes的公司: 国内在用k8s的公司:阿里巴巴、百度、腾讯、京东、360、新浪、头条、知乎、华为、小米、富士康、移动、银行、电网、阿里云、青云、时速云、腾讯、优酷、抖音、快手、美团等国外在用k8s的公司:谷歌、IBM、丰田、iphone、微软、redhat等整个K8S体系涉及到的技术众多,包括存储、网络、安全、监控、日志、DevOps、微服务等,很多刚接触K8S的初学者,都会感到无从下手,为了能让大家系统地学习,克服这些技术难点,推出了这套K8S架构师课程。Kubernetes的发展前景 kubernetes作为炙手可热的技术,已经成为云计算领域获取高薪要掌握的重要技能,在招聘网站搜索k8s,薪资水平也非常可观,为了让大家能够了解k8s目前的薪资分布情况,下面列举一些K8S的招聘截图: 讲师介绍:  先超容器云架构师、IT技术架构师、DevOps工程师,曾就职于世界500强上市公司,拥有多年一线运维经验,主导过上亿流量的pv项目的架构设计和运维工作;具有丰富的在线教育经验,对课程一直在改进和提高、不断的更新和完善、开发更多的企业实战项目。所教学员遍布京东、阿里、百度、电网等大型企业和上市公司。课程学习计划 学习方式:视频录播+视频回放+全套源码笔记 教学服务:模拟面试、就业指导、岗位内推、一对一答疑、远程指导 VIP终身服务:一次购买,终身学习课程亮点:1. 学习方式灵活,不占用工作时间:可在电脑、手机观看,随时可以学习,不占用上班时间2.老师答疑及时:老师24小时在线答疑3. 知识点覆盖全、课程质量高4. 精益求精、不断改进根据学员要求、随时更新课程内容5. 适合范围广,不管你是0基础,还是拥有工作经验均可学习:0基础1-3年工作经验3-5年工作经验5年以上工作经验运维、开发、测试、产品、前端、架构师其他行业转行做技术人员均可学习课程部分项目截图   课程大纲 k8s+SpringCloud全栈技术:基于世界500强的企业实战课程-大纲第一章 开班仪式老师自我介绍、课程大纲介绍、行业背景、发展趋势、市场行情、课程优势、薪资水平、给大家的职业规划、课程学习计划、岗位内推第二章 kubernetes介绍Kubernetes简介kubernetes起源和发展kubernetes优点kubernetes功能kubernetes应用领域:在大数据、5G、区块链、DevOps、AI等领域的应用第三章  kubernetes中的资源对象最小调度单元Pod标签Label和标签选择器控制器Replicaset、Deployment、Statefulset、Daemonset等四层负载均衡器Service第四章 kubernetes架构和组件熟悉谷歌的Borg架构kubernetes单master节点架构kubernetes多master节点高可用架构kubernetes多层架构设计原理kubernetes API介绍master(控制)节点组件:apiserver、scheduler、controller-manager、etcdnode(工作)节点组件:kube-proxy、coredns、calico附加组件:prometheus、dashboard、metrics-server、efk、HPA、VPA、Descheduler、Flannel、cAdvisor、Ingress     Controller。第五章 部署多master节点的K8S高可用集群(kubeadm)第六章 带你体验kubernetes可视化界面dashboard在kubernetes中部署dashboard通过token令牌登陆dashboard通过kubeconfig登陆dashboard限制dashboard的用户权限在dashboard界面部署Web服务在dashboard界面部署redis服务第七章 资源清单YAML文件编写技巧编写YAML文件常用字段,YAML文件编写技巧,kubectl explain查看帮助命令,手把手教你创建一个Pod的YAML文件第八章 通过资源清单YAML文件部署tomcat站点编写tomcat的资源清单YAML文件、创建service发布应用、通过HTTP、HTTPS访问tomcat第九章  kubernetes Ingress发布服务Ingress和Ingress Controller概述Ingress和Servcie关系安装Nginx Ingress Controller安装Traefik Ingress Controller使用Ingress发布k8s服务Ingress代理HTTP/HTTPS服务Ingress实现应用的灰度发布-可按百分比、按流量分发第十章 私有镜像仓库Harbor安装和配置Harbor简介安装HarborHarbor UI界面使用上传镜像到Harbor仓库从Harbor仓库下载镜像第十一章 微服务概述什么是微服务?为什么要用微服务?微服务的特性什么样的项目适合微服务?使用微服务需要考虑的问题常见的微服务框架常见的微服务框架对比分析第十二章 SpringCloud概述SpringCloud是什么?SpringCloud和SpringBoot什么关系?SpringCloud微服务框架的优缺点SpringCloud项目部署到k8s的流程第十三章 SpringCloud组件介绍服务注册与发现组件Eureka客户端负载均衡组件Ribbon服务网关Zuul熔断器HystrixAPI网关SpringCloud Gateway配置中心SpringCloud Config第十四章 将SpringCloud项目部署到k8s平台的注意事项如何进行服务发现?如何进行配置管理?如何进行负载均衡?如何对外发布服务?k8s部署SpringCloud项目的整体流程第十五章 部署MySQL数据库MySQL简介MySQL特点安装部署MySQL在MySQL数据库导入数据对MySQL数据库授权第十六章 将SpringCLoud项目部署到k8s平台SpringCloud的微服务电商框架安装openjdk和maven修改源代码、更改数据库连接地址通过Maven编译、构建、打包源代码在k8s中部署Eureka组件在k8s中部署Gateway组件在k8s中部署前端服务在k8s中部署订单服务在k8s中部署产品服务在k8s中部署库存服务第十七章 微服务的扩容和缩容第十八章 微服务的全链路监控什么是全链路监控?为什么要进行全链路监控?全链路监控能解决哪些问题?常见的全链路监控工具:zipkin、skywalking、pinpoint全链路监控工具对比分析第十九章 部署pinpoint服务部署pinpoint部署pinpoint agent在k8s中重新部署带pinpoint agent的产品服务在k8s中重新部署带pinpoint agent的订单服务在k8s中重新部署带pinpoint agent的库存服务在k8s中重新部署带pinpoint agent的前端服务在k8s中重新部署带pinpoint agent的网关和eureka服务Pinpoint UI界面使用第二十章 基于Jenkins+k8s+harbor等构建企业级DevOps平台第二十一章 基于Promethues+Alert+Grafana搭建企业级监控系统第二十二章 部署智能化日志收集系统EFK 
部署EFKElasticsearch+Fluentd+Kibana)并在其中使用Tomcat,你需要先安装JDK和Tomcat。JDK是Java语言的开发工具,并包含了Java虚拟机(JVM),而Tomcat是一个Java Servlet容器。以下是部署EFK中使用Tomcat的步骤: 1. 首先,安装JDK。JDK是开发Java应用程序的必备工具,也是Tomcat运行所需的环境。你需要下载并安装适合你操作系统的JDK版本。 2. 解压Tomcat包。你可以下载Tomcat的压缩包,并使用解压命令进行解包。例如,在Linux系统中,你可以使用以下命令解压Tar包: ``` tar zxvf apache-tomcat-9.0.16.tar.gz ``` 3. 将Tomcat移动到合适的位置并重命名。你可以使用命令将解压后的Tomcat文件夹移动到合适的路径,并对其进行重命名。例如,在Linux系统中,你可以使用以下命令将Tomcat移动到/usr/local/tomcat目录并重命名为apache-tomcat-9.0.16: ``` mv apache-tomcat-9.0.16 /usr/local/tomcat ``` 4. 启动Tomcat。一旦Tomcat被正确安装和配置,你可以使用以下命令启动Tomcat服务: ``` /usr/local/tomcat/bin/startup.sh ``` 这将启动Tomcat并使其开始监听来自Web浏览器的请求。 现在你已经成功部署EFK,并在其中使用了Tomcat。你可以通过配置Fluentd将Tomcat的日志数据发送到Elasticsearch,然后使用Kibana来可视化和分析这些日志数据。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [EFK+tomcat](https://blog.csdn.net/H_YANG__/article/details/126924284)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [部署EFK](https://blog.csdn.net/m0_59430185/article/details/121471317)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Linux运维老纪

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值