ELK日志分析平台(elasticsearch)_elastic 日志下载(1)

最新推荐文章于 2024-05-17 02:21:21 发布
最新推荐文章于 2024-05-17 02:21:21 发布
阅读量600 收藏 10
点赞数 28
分类专栏： 2024年程序员学习 文章标签： elk elasticsearch 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61549781/article/details/137475487
版权

elasticsearch插件安装

下载elasticsearch-head插件

wget https://github.com/mobz/elasticsearch-head/archive/master.zip
get elasticsearch-head-master.zip
[root@server1 ~]# yum install unzip.x86_64 -y
[root@server1 ~]# unzip elasticsearch-head-master.zip
[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 elasticsearch-head-master]# yum install fontconfig
[root@server1 elasticsearch-head-master]# cnpm install
[root@server1 elasticsearch-head-master]# cnpm run start &


tar jxf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/
cd bin/
mv phantomjs /usr/local/bin/
yum install fontconfig

head插件本质上是一个nodejs的工程,因此需要安装node

get nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# rpm -ivh nodejs-9.11.2-1nodesource.x86_64.rpm
[root@server1 ~]# node -v
[root@server1 ~]# npm -v

更换npm源安装

[root@server1 ~]# cd elasticsearch-head-master/
[root@server1 ~]# npm install -g cnpm --registry=https://registry.npm.taobao.org

启动head插件

[root@server1 elasticsearch-head-master]# cnpm run start &

修改ES跨域主持

三个节点都需要加上

[root@server1 ~]# vim /etc/elasticsearch/elasticsearch.yml
http.cors.enabled: true    # 是否支持跨域
http.cors.allow-origin: "*"     # *表示支持所有域名
[root@server1 ~]# systemctl restart elasticsearch.service

在这里插入图片描述
访问head插件服务
在这里插入图片描述
创建索引
在这里插入图片描述
查看ES状态
在这里插入图片描述
灰色标识没有副本
黄色代表没有主分片丢失

elasticsearch节点角色

Master:
• 主要负责集群中索引的创建、删除以及数据的Rebalance等操作。
Master不负责数据的索引和检索,所以负载较轻。当Master节点失联或
者挂掉的时候,ES集群会自动从其他Master节点选举出一个Leader。
Data Node:
• 主要负责集群中数据的索引和检索,一般压力比较大。
Coordinating Node:
• 原来的Client node的,主要功能是来分发请求和合并结果的。所有节点
默认就是Coordinating node,且不能关闭该属性。
Ingest Node:
• 专门对索引的文档做预处理

elasticsearch节点优化

在生产环境下,如果不修改elasticsearch节点的角色信息,在高数
据量,高并发的场景下集群容易出现脑裂等问题。
• 默认情况下,elasticsearch集群中每个节点都有成为主节点的资格,
也都存储数据,还可以提供查询服务。
• 节点角色是由以下属性控制:
• node.master: false|true
• node.data: true|false
• node.ingest: true|false
• search.remote.connect: true|false
默认情况下这些属性的值都是true。

node.master:这个属性表示节点是否具有成为主节点的资格
注意:此属性的值为true,并不意味着这个节点就是主节点。
因为真正的主节点,是由多个具有主节点资格的节点进行选
举产生的。
• node.data:这个属性表示节点是否存储数据。
• node.ingest: 是否对文档进行预处理。
• search.remote.connect:是否禁用跨集群查询

自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。

深知大多数Linux运维工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年Linux运维全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
img
img
img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上Linux运维知识点，真正体系化！

由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新

如果你觉得这些内容对你有帮助，可以添加VX：vip1024b （备注Linux运维获取）
img

最全的Linux教程，Linux从入门到精通

======================

  1. linux从入门到精通(第2版)

  2. Linux系统移植

  3. Linux驱动开发入门与实战

  4. LINUX 系统移植 第2版

  5. Linux开源网络全栈详解 从DPDK到OpenFlow

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

第一份《Linux从入门到精通》466页

====================

内容简介

====

本书是获得了很多读者好评的Linux经典畅销书**《Linux从入门到精通》的第2版**。本书第1版出版后曾经多次印刷，并被51CTO读书频道评为“最受读者喜爱的原创IT技术图书奖”。本书第﹖版以最新的Ubuntu 12.04为版本，循序渐进地向读者介绍了Linux 的基础应用、系统管理、网络应用、娱乐和办公、程序开发、服务器配置、系统安全等。本书附带1张光盘，内容为本书配套多媒体教学视频。另外,本书还为读者提供了大量的Linux学习资料和Ubuntu安装镜像文件，供读者免费下载。

华为18级工程师呕心沥血撰写3000页Linux学习笔记教程

本书适合广大Linux初中级用户、开源软件爱好者和大专院校的学生阅读，同时也非常适合准备从事Linux平台开发的各类人员。

需要《Linux入门到精通》、《linux系统移植》、《Linux驱动开发入门实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
img

实战》、《Linux开源网络全栈》电子书籍及教程的工程师朋友们劳烦您转发+评论

一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
[外链图片转存中…(img-To4VkwsS-1712490133889)]

功勋Web工程师
关注
  • 28
    点赞
  • 踩
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ELK日志分析监控平台
派大星的不眠博客
02-21 1万+
日志对于分析系统、应用的状态十分重要，但一般日志的量会比较大，并且比较分散。 如果管理的服务器或者程序比较少的情况我们还可以逐一登录到各个服务器去查看、分析。但如果服务器或者程序的数量比较多了之后这种方法就显得力不从心。基于此，一些集中式的日志系统也就应用而生。目前比较有名成熟的有，Splunk(商业)、FaceBook 的Scribe、Apache的Chukwa Cloudera的Fluentd、还有ELK等等。
ELK日志分析平台(一)----elasticsearch
uikotygiug的博客
01-03 801
1.介绍 ElasticSearch是一个分布式，高性能、高可用、可伸缩、RESTful 风格的搜索和数据分析引擎。通常作为Elastic Stack的核心来使用，Elastic Stack大致是如下这样组成的： ES是一个近实时（NRT）的搜索引擎，一般从添加数据到能被搜索到只有很少的延迟（大约是1s），而查询数据是实时的。一般我们可以把ES配合logstash,kibana来做日志分析系统，或者是搜索方面的系统功能，比如在网上商城系统里实现搜索商品的功能也会用到ES。 - El..
使用ELK搭建日志集中分析平台实践
01-27
Elasticsearch+Logstash+Kibana（ELK）是一套开源的日志管理方案，分析网站的访问情况时我们一般会借助Google/百度/CNZZ等方式嵌入JS做数据统计，但是当网站访问异常或者被攻击时我们需要在后台分析如Nginx的具体日志，而Nginx日志分割/GoAccess/Awstats都是相对简单的单节点解决方案，针对分布式集群或者数据量级较大时会显得心有余而力不足，而ELK的出现可以使我们从容面对新的挑战。Logstash：负责日志的收集，处理和储存Elasticsearch：负责日志检索和分析Kibana：负责日志的可视化ELK(Elasticsearch+
ELK日志分析平台搭建全过程
02-24
当生产环境有很多服务器、很多业务模块的日志需要每时每刻查看时系统：centos6.5JDK：1.8Elasticsearch-5.0.0Logstash-5.0.0kibana-5.0.01、安装JDK下载JDK：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html本环境下载的是64位tar.gz包，将安装包拷贝至安装服务器/usr/local目录[root@localhost~]#cd/usr/local/[root@localhostlocal]#tar-xzvfjdk-8u1
ubuntu搭建日志分析工具ELK收集Nginx日志_ubuntu22安装elk(1)
最新发布
2401_84141260的博客
05-17 816
KaTeX parse error: Expected 'EOF', got '#' at position 18: …KaTeX parse error: Expected 'EOF', got '#' at position 12: request", '#̲记录请求的URL和HTTP协议…KaTeX parse error: Expected 'EOF', got '#' at position 17: …path.logs: /var/log/elasticsearch/ #日志路径。
Elastic Stack日志采集方案
erdongritian的专栏
07-05 1181
Elastic Stack日志采集方案说明本文基于elastic stack 相关组件版本号为：6.1.2，linux操作系统，单节点测试部署。Elastic Stack简介：    ElasticStack 是一系列开源产品的合集，包括 Elasticsearch、Logstash 、Kibana、Beat等等。    Elasticsearch是个开源分布式搜索引擎，提供搜集、分析、存储数据三...
Elastic Stack 日志收集系统笔记
wanger5354的博客
12-09 1407
人活在世上，什么都不要怕，做自己认为对的事儿，慢慢放下输赢和计算。                                     &
ELK日志平台系统安装
东城绝神
07-22 750
ELK日志平台系统安装 一、下载elk [root@host-47-98-97-124 ~]# wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.6.0.tar.gz [root@host-47-98-97-124 ~]# wget https://artifacts.elasti...
ELK搭建（五）：linux系统日志监控平台搭建
55555的博客
04-07 1966
0. 引言 现在的生产系统多使用linux系统，在实际生产过程中我们除了需要监控一些业务日志之外，有时也需要监控linux系统本身的日志，来帮助我们进行一些排错和判断。那么这一期，我们就针对linux系统日志监控平台的搭建来进行讲解 与往期一样，我们针对实际搭建教程更多是快速搭建为主，不做过多的原理性讲解，这一类讲解我们放到后期单独开几期博客来探讨。 1. 下载 首先针对elasticsearch,kibana的下载安装不再累述，还不知道的同学可以看看之前的博客。 ELK搭建（一）：实现分布式微服务日志监控
java代码实现自动提取（ELK kibana日志平台）业务日志
junior77的专栏
12-24 3690
近期因进行项目全链路压测，需要对服务部分接口进行业务日志提取，用来做参数化测试数据。据了解，服务日志存储于elk日志平台中。于是为了避免每次手工提取费时费事，且每次不能批量提取大量日志，决定使用脚本实现自动提取，并保存至特定目录文件中。 前提： elk日志平台地址 查询索引名 查询条件 以下为具体java代码，供参考： ImSearchExtractData类 package com.Fulllink.imsearch; import com.Fulllink.utils...
搭建ELK实现日志采集
qq_33807330的博客
07-22 293
之前在公司搭建了一套ELK一直没用，前两天公司突然要使用了，因为Linux接口没有对外暴露，所以需要修改端口，两个月没管，登上服务器之后一脸懵逼，为了防止再次忘记，所以把搭建过程记录下来。 1.搭建Elasticsearch 下载对应版本，这里用7.5.1：https://www.elastic.co/cn/downloads/elasticsearch，ELK下载路径都一样，所以以下不再阐述 如果是Linux系统，需要注意： （a）设置内核参数vim /etc/sysctl.conf ...
ELK日志分析平台(elasticsearch)
Sun__s的博客
03-09 308
elasticsearch简介 Elasticsearch 是一个开源的分布式搜索分析引擎，建立在一个全文搜索引擎库 Apache Lucene基础之上。 Elasticsearch 不仅仅是 Lucene，并且也不仅仅只是一个全文搜索引擎： 一个分布式的实时文档存储，每个字段 可以被索引与搜索 一个分布式实时分析搜索引擎 能胜任上百个服务节点的扩展，并支持 PB 级别的结构化或者非结构化数据 基础模块 cluster：管理集群状态，维护集群层面的配置信息。 alloction：封装了分片分配相关的功能
ELK日志分析平台1——elasticsearch
qwejiaji的博客
08-29 217
传送门 [root@server1 /mnt] ls elasticsearch-7.6.1-x86_64.rpm kibana-7.6.1-x86_64.rpm logstash-7.6.1.zip [root@server1 /mnt] rpm -ivh elasticsearch-7.6.1-x86_64.rpm
ELK(ElasticSearch,Logstash,Kibana)搭建实时日志分析平台
01-29
经常分析日志可以了解服务器的负荷，性能安全性，从而及时采取措施纠正错误。通常，日志被分散的储存不同的设备上。如果你管理数十上百台服务器，你还在使用依次登录每台机器的传统方法查阅日志。这样是不是感觉
【Elastic (ELK) Stack 实战教程】06、Filebeat 日志收集实践（下）
Stars.Sky 的博客
03-29 1184
Filebeat 日志收集 nginx、Tomcat 实践
ELK 日志监控平台环境搭建及使用说明
热门推荐
Jeanphorn的专栏
11-01 1万+
1. ELK概述ELK，也就是Elasticsearch、Logstash、Kibana三者的结合，是一套开源的分布式日志管理方案.Elasticsearch：负责日志存储、检索和分析LogStash：负责日志的收集、处理Kibana：负责日志的可视化方案： 2. 环境搭建为整体环境创建一个合适的目录，mkdir $project_path/ELK, project_path 根据情况而定，例如”
EFLK四组件日志收集 ELK filebeat
飘然生的博客
10-03 474
filebeat和logstash的区别 相同点： 都可以做日志收集 不同点： 语言：logstash是JVM，filebeat是golang 轻量级：logstash资源消耗比较大,filebeat更轻量级 过滤：logstash能进行日志过滤 filebeat可以把数据传输给logstash进行数据过滤处理，称为背压机制 logstash 1.下载安装 下载地址：https://www.elastic.co/cn/downloads 解压即完成安装 2.运行测试： linux
2024年软件测试最新ubuntu搭建日志分析工具ELK收集Nginx日志_ubuntu22安装elk，学习路线+知识点梳理
2401_84731999的博客
05-09 344
KaTeX parse error: Expected 'EOF', got '#' at position 22: …KaTeX parse error: Expected 'EOF', got '#' at position 22: …KaTeX parse error: Expected 'EOF', got '#' at position 12: request", '#̲记录请求的URL和HTTP协议…http_x_forwarded_for”, '#记录客户端IP地址。
用ELK分析每天4亿多条腾讯云MySQL审计日志(3)--下载日志
zping的博客
08-12 38
当初分析日志，麻烦的是腾讯云的SQL审计日志下载，有下列限制： 1，单次最多1000万条下载 2，单个实例最多生成5条日志文件，多的要先删除以前文件才能生成 腾讯云日志文件生成界面： 一开始用手工下载，想想也不多，可以忍受，弄了一段时间后，研发的要求越来越高，不能一直这样手工，刚好旁边的运维小伙用GO实现了程序单实例下载日志---filebeat-...
ELK日志分析系统的工作原理
02-28
ELK日志分析系统是由三个主要组件组成的：Elasticsearch、Logstash 和 Kibana。 1. Elasticsearch 是一个开源搜索引擎，它能够存储和查询大量的日志数据。 2. Logstash 是一个数据收集和处理工具，它能够从多个来源收集日志数据，并将其转换为 Elasticsearch 可以处理的格式。 3. Kibana 是一个可视化工具，它能够帮助用户使用图表和图形来分析和理解存储在 Elasticsearch 中的日志数据。 ELK 日志分析系统的工作流程如下： 1. 日志产生：应用程序或服务生成日志数据。 2. 日志收集：Logstash 从各种来源收集日志数据，包括文件、数据库、网络端口等。 3. 日志转换：Logstash 对日志数据进行过滤和转换，将其转换为 Elasticsearch 可以处理的格式。 4. 日志存储：Elasticsearch 将转换后的日志数据存储到其内部数据库中。 5. 日志查询：用户使用 Kibana 对存储在 Elasticsearch 中的日志数据进行查询和可视化分析。 6. 日志报告：Kibana 可以将分析结果以图表或图形的形式展示给用户，方便用户

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值