大数据最全ELK日志分析，2024年最新这些细节在大数据开发面试上要注意了

2401_84591870

于 2024-05-15 12:08:23 发布

阅读量389

点赞数 4

分类专栏：程序员文章标签：大数据面试学习

本文链接：https://blog.csdn.net/2401_84591870/article/details/138903238

版权

程序员专栏收录该内容

58 篇文章 0 订阅

订阅专栏

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！

4)Search and Storage：允许对事件进行搜索和存储；

5)Web Interface：基于Web的展示界面

正是由于以上组件在LogStash架构中可独立部署，才提供了更好的集群扩展性。

2.LogStash主机分类

1)代理主机（agent host）：作为事件的传递者（shipper），将各种日志数据发送至中心主机；只需运行Logstash 代理（agent）程序。

2)中心主机（central host）：可运行包括中间转发器（Broker）、索引器（Indexer）、搜索和存储器（Search and Storage）、Web界面端（Web Interface）在内的各个组件，以实现对日志数据的接收、处理和存储。

四、Kibana介绍

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示 Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。

主要功能：
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制，可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。

2)整合数据。Kibana能够更好地处理海量数据，并据此创建柱形图、折线图、散点图、直方图、饼图和地图。

3)复杂数据分析。Kibana提升了Elasticsearch分析能力，能够更加智能地分析数据，执行数学转换并且根据要求对数据切割分块。

4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。

5)接口灵活，分享更容易。使用Kibana可以更加方便地创建、保存、分享数据，并将可视化数据快速交流。

6)配置简单。Kibana的配置和启用非常简单，用户体验非常友好。Kibana自带Web服务器，可以快速启动运行。

7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch，支持的第三方技术包括Apache Flume、Fluentd（作为一套收集容器日志的采集器）等。

8)简单数据导出。Kibana可以方便地导出感兴趣的数据，与其它数据集合并融合后快速建模分析，直观的发现新结果。

五、配置ELK日志分析系统

配置和安装ELK日志分析系统，安装集群方式，2个elasticsearch节点，并监控apache服务器日志。


主机	操作系统	主机名	IP地址	主要软件
服务器	Centos7.6	node1	192.168.22.	Elasticsearch Kibana
服务器	Centos7.6	node2	192.168.22.	Elasticsearch
服务器	Centos7.6	apache	192.168.22.	Logstash Apache

1.配置elasticsearch环境

(1)node1

vim /etc/hosts

java -version

rpm -ivh jdk-8u201-linux-x64.rpm 

vim /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_91
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

source /etc/profile

(2)node2

vim /etc/hosts

rpm -ivh jdk-8u201-linux-x64.rpm 

java -version

vim /etc/profile.d/java.sh			

export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64
export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar
export PATH=$JAVA_HOME/bin:$PATH

source /etc/profile.d/java.sh

java -version

2.部署elasticsearch软件

node1

(1)安装elasticsearch—rpm包

cd /opt

rpm -ivh elasticsearch-5.5.0.rpm

(2)加载系统服务

sudo systemctl daemon-reload

sudo systemctl enable elasticsearch.service

(3)更改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                 集群名字
23  node.name: node1                             节点名字
33  path.data: /data/elk_data                    数据存放路径
37  path.logs: /var/log/elasticsearch/           日志存放路径
43  bootstrap.memory_lock: false                 
不在启动的时候锁定内存（前端缓存。与IOPS-性能测试方式，每秒读写次数相关）

55  network.host: 0.0.0.0                           提供服务绑定的IP地址，0.0.0.0代表所有地址
59  http.port: 9200                                 侦听端口为9200

68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]  集群发现通过单播实现“单播”

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

(4)创建数据存放路径并授权

mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

(5)启动elasticsearch是否成功开启

systemctl start elasticsearch.service
需要等待一段时间让他启动，可以直接看日志：tail -f /var/log/elasticsearch/elas-cluster.log

netstat -antp | grep 9200

(6)查看节点信息

node2

(1)安装elasticsearch—rpm包

cd /opt

rpm -ivh elasticsearch-5.5.0.rpm

(2)加载系统服务

systemctl daemon-reload    

systemctl enable elasticsearch.service

(3)更改elasticsearch主配置文件

cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak

vim /etc/elasticsearch/elasticsearch.yml

17  cluster.name: my-elk-cluster                集群名字
23  node.name: node2                            节点名字
33  path.data: /data/elk_data                   数据存放路径
37  path.logs: /var/log/elasticsearch/          数据存放路径
43  bootstrap.memory_lock: false                不在启动的时候锁定内存
55  network.host: 0.0.0.0                       提供服务绑定的IP地址，0.0.0.0代表所有地址
59  http.port: 9200                              侦听端口为9200
68  discovery.zen.ping.unicast.hosts: ["node1", "node2"]       群发现通过单播实现

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

(4)创建数据存放路径并授权

mkdir -p /data/elk_data

chown elasticsearch:elasticsearch /data/elk_data/

(5)启动elasticsearch是否成功开启

systemctl start elasticsearch.service

netstat -antp | grep 9200

(6)查看节点信息

(7)集群检查健康和状态

3.安装elasticsearch-head插件

node1

yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install

(1)安装phantomjs前端框架

cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

(2)安装elasticsearch-head数据可视化工具

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

(3)修改主配置文件

cd 
vim /etc/elasticsearch/elasticsearch.yml    下面配置文件，末尾 

http.cors.enabled: true                     开启跨域访问支持，默认为false
http.cors.allow-origin: "*"                 跨域访问允许的域名地址

systemctl restart elasticsearch

(4)启动elasticsearch-head 启动服务器

cd /usr/local/src/elasticsearch-head/

npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200

node2

yum install gcc gcc-c++ make -y

cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure 
make -j3
make install

(1)安装phantomjs

cd /usr/local/src/
tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2
cd phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

(2)安装elasticsearch-head

cd /usr/local/src/
tar xzvf elasticsearch-head.tar.gz
cd elasticsearch-head/
npm install

(3)修改主配置文件

cd 
vim /etc/elasticsearch/elasticsearch.yml   下面配置文件，末尾

http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch

(4)启动elasticsearch-head 启动服务器

cd /usr/local/src/elasticsearch-head/
npm run start &                         切换到后台运行

netstat -lnupt | grep 9100

netstat -lnupt | grep 9200

索引（库）→ 类型（表）→ 文档（字段）

(5)创建索引

curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'

4.安装logstash

做一些日志搜集输出到elasticsearch中

(1)安装Apahce服务（httpd）

yum -y install httpd

systemctl start httpd

(2)安装Java环境

java -version      如果没有,安装yum -y install java

(3)安装logstash

cd /opt
rpm -ivh logstash-5.5.1.rpm                             安装logstash
systemctl start logstash.service                        启动logstash
systemctl enable logstash.service
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/  建立logstash软连接

(4)对接测试

logstash（Apache）与elasticsearch（node）功能是否正常


-f	通过这个选项可以指定logstash的配置文件，根据配置文件配置logstash
-e	后面跟着字符串该字符串可以被当做logstash的配置（如果是” ”,则默认使用stdin做为输入、stdout作为输出）
-t	测试配置文件是否正确，然后退出

(5)Apache服务器

输入采用标准输入输出采用标准输出

logstash agent
① input
② filter
③ output

logstash -e 'input { stdin{} } output { stdout{} }'

www.baidu.com                        需要输入www.baidu.com

www.sina.com.cn                      需要输入www.sina.com.cn

(6)使用rubydebug显示详细输出，codec为一种编解码器

logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }'

www.baidu.com

使用logstash将信息写入elasticsearch中输入输出对接

logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.22.196:9200"] } }'

www.baidu.com                    输入内容
www.sina.com.cn                  输入内容
www.google.com.cn                输入内容

5. Apache做对接配置

(1)logstash配置文件

Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

       输入内容

www.sina.com.cn 输入内容
www.google.com.cn 输入内容


### 


 ![](https://img-blog.csdnimg.cn/5fa76a2dccc84d048c84e78ddd69f0e5.png)


![](https://img-blog.csdnimg.cn/450e352e43cb4c13b5206b9d45d6ac13.png) 


![](https://img-blog.csdnimg.cn/186d461f364542dc9635fd71f7a4b037.png) 


 


### 5. Apache做对接配置


#### (1)logstash配置文件


Logstash配置文件主要由三部分组成：input、output、filter（根据需要）

[外链图片转存中…(img-JaLKl9sC-1715746080968)]
[外链图片转存中…(img-P6OHDvvu-1715746080968)]

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化资料的朋友，可以戳这里获取

2401_84591870

关注

4
点赞
踩
5

收藏

觉得还不错? 一键收藏
0
评论
大数据最全ELK日志分析，2024年最新这些细节在大数据开发面试上要注意了

Kibana是一个针对Elasticsearch的开源分析及可视化平台，用来搜索、查看交互存储在Elasticsearch索引中的数据。使用Kibana，可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。操作简单，基于浏览器的用户界面可以快速创建仪表板（dashboard）实时显示 Elasticsearch查询动态。设置Kibana非常简单。无需编写代码，几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。
复制链接

扫一扫