云计算上机实验二

已于 2022-07-04 15:45:57 修改
阅读量476 收藏
点赞数 1
分类专栏： 云计算 文章标签： 云计算
于 2022-06-29 08:48:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/helloBanksy/article/details/125492001
版权

实验：ELK实时日志分析平台环境搭建


这一篇博文是在服务器上做的
虚拟机上的markdown格式下载

1.ELK简介

(1) ELasticSearch：Elasticsearch是一个高度可伸缩的开源全文搜索和分析引擎。它允许用户快速和接近实时地存储、搜索和分析大量数据。
(2) Logstash：Logstash是一个开源的服务器端数据处理管道，可以同时从多个数据源获取数据，并对其进行转换、过滤、增强等，然后将其发送到其地方。
(3) Beats：Beats是用于单用途数据托运人的平台，它们以轻量级代理的形式安装，并将来自成百上千台机器的数据发送到Logstash或Elasticsearch。包含：filebeat，metricbeat，packetbeat等。
(4) Kibana：Kibana是一个开源的分析和可视化平台，设计用于和Elasticsearch一起工作，可以用来搜索，查看，并和存储在Elasticsearch索引中的数据进行交互，轻松地执行高级数据分析，并且以各种图标、表格和地图的形式可视化数据。
在这里插入图片描述

2. 实验环境

(1) 通过VMWare等虚拟机软件搭建Ubuntu系统进行实验
(2) JDK环境：请自行为Ubuntu安装JDK（Server JRE），并配置环境变量（sudo apt install openjdk-8-jdk-headless）

3. ELK环境搭建

(1) 环境布局

演示布局如下图所示：
在这里插入图片描述
在实际应用中，Beats和Logstash一般是部署在不同服务器上的。由于服务器资源有限，这里演示时将两者部署在同一个服务器上。

(2) 软件包下载

https://www.elastic.co/downloads/past-releases#elasticsearch
在这里插入图片描述

下载ElasticSearch、Logstash、Kibana、Beats（FileBeat、MetricBeat、PacketBeat等）
在这里插入图片描述

创建elk目录

mkdir /usr/local/elk

在这里插入图片描述

(3) ElasticSearch部署:

① 解压文件到上一步创建的/usr/local/elk目录下

tar -zxvf elasticsearch-6.7.1.tar.gz -C /usr/local/elk/

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Elasticsearch目录结构：

Bin二进制脚本，例如ES启动脚本elasticsearch
LibES依赖包目录，包含ES用到的jar包
Logs日志文件目录
Config配置文件目录，elasticsearch.yml为ES的配置文件
ModulesES模块目录
Plugins一些常用插件
DataES索引等数据默认存放在根目录下的data文件夹里，初次运行ES后便会自动生成，也可在config/elasticsearch.yml更改数据存放路径

② 配置ES

使用vim打开elasticsearch.yml（关于vim的基本使用请自行学习）

cd /usr/local/elk/elasticsearch-6.7.1
vim config/elasticsearch.yml

在这里插入图片描述

这里只进行最基础的配置，当然也可以使用ES默认的配置

在这里插入图片描述
在这里插入图片描述

③ 运行Elasticsearch

1) 前置操作

当我们在root用户下启动ES时，会有以下报错：
在这里插入图片描述
这是出于系统安全考虑设置的条件。由于ElasticSearch可以接收用户输入的脚本并且执行，为了系统安全考虑，建议创建一个单独的用户用来运行ElasticSearch。
新用户的密码为：zhang2000

cd /usr/local/elk/
ls
groupadd elk
useradd elk-user -g elk
passwd elk-user
chown -R elk-user:elk elasticsearch-6.7.1/
cd elasticsearch-6.7.1/
ls -alh

在这里插入图片描述

2) 启动ES

可以直接先改文件，跳转至下面直接修改的标签操作也可以
切换到elk-user用户，进入bin文件夹，运行elasticsearch文件，后面的&表示后台运行

su elk-user
cd bin
./elasticsearch &

观察到有WARN等问题，开始处理这些错误
在这里插入图片描述
先将这个elasticsearch进程杀死，上面进程号写的是26127（随机的，每个人的不一样）
如果不知道也可以使用命令查看：

1.查找ES进程
ps -ef | grep elastic
2.杀掉ES进程
kill -9 26127（进程号）
直接修改
报错里有
OpenJDK 64-Bit Server VM warning: Option UseConcMarkSweepGC was deprecated in version 9.0 and will likely be removed in a future release.
这是垃圾处理器不建议使用了，我们换成UseU1GC

进入/usr/local/elk/elasticsearch-6.7.1/config将jvm.options文件稍作修改
将UseConcMarkSweepGC换成UseU1GC

vim /usr/local/elk/elasticsearch-6.7.1/config/jvm.options

在这里插入图片描述
对于

[2022-06-23T13:40:38,563][WARN ][o.e.b.BootstrapChecks    ] [yn2OCgc] max virtual memory areas vm.max_map_count [65530] is too low, increase to at least [262144]

vim里输入i，左下角会显示插入表示开始修改文件了，修改完成后输入ESC键，然后输入:wq回车就好了。
然后切换到root用户下，使用vim修改/etc下的sysctl.conf文件

su root
vim /etc/sysctl.conf

我的文件里是空的，所以加了过后有效行也只有一行
在这里插入图片描述
接着修改最后一个问题：

[2022-06-23T13:40:38,563][WARN ][o.e.b.BootstrapChecks    ] [yn2OCgc] max file descriptors [4096] for elasticsearch process is too low, increase to at least [65535]

先修改文件：

vim /etc/security/limits.conf

在文件中添加

* soft nofile 65536
* hard nofile 65536

在这里插入图片描述
然后重新登录用户：

su root

最后验证是否生效

ulimit  -H -n

在这里插入图片描述
现在再启动ES：

su elk-user
cd /usr/local/elk/elasticsearch-6.7.1/bin
./elasticsearch &

在这里插入图片描述
可以看到全是INFO只有一个WARN，经过搜索发现可以不用管。
再尝试访问本地的9200端口：

curl http://localhost:9200

在这里插入图片描述
输出正确，最后查看进程号，并且关闭进程：
查看进程号：

ps -ef | grep elastic

在这里插入图片描述
可以看到进程号是7266，其实在你启动ES的时候，输出的第一条信息就是进程的PID，如下，所以是对应的
在这里插入图片描述
关闭进程号，再次查看：也可以等外网访问完成了再关闭

kill -9 你的进程号（我的就是7266）
ps -ef | grep elastic

在这里插入图片描述
可以看到进程已被杀死，剩下的仍在运行的是当前命令
在这里插入图片描述
3) 验证ES外网是否可以访问

curl 10.64.26.86:9200
每个人的地址不同，后面就是你的服务器地址加端口号9200

在这里插入图片描述
再在windows上试试访问http://10.64.26.86:9200（前面的地址是自己的）
你会发现无访问此网站，为什么呢？我们之前使用tomcat的时候做了一件什么事？
开启防火墙，所以我们来试试

firewall-cmd --zone=public --add-port=9200/tcp --permanent
systemctl restart firewalld.service

再次访问http://10.64.26.86:9200/
在这里插入图片描述
成功啦

(4) Kibana部署：

① 解压文件到 /usr/local/elk

首先进入elk目录，再解压：

cd /usr/local/elk
tar -zxvf kibana-6.7.1-linux-x86_64.tar.gz -C /usr/local/elk

解压需要一小会儿
Kibana重要目录结构：

Bin包括kibana在内的启动kibana服务和kibana-plugin来安装插件的二进制脚本
Config包括kibana.yml的配置文件
Data由kibana和它的插件写入磁盘的数据文件的位置
Optimize源码编译后的文件，浏览器实际访问的资源
Plugins插件目录
Node_modules第三方依赖库

② 配置Kibana

使用vim打开kibana.yml

vim /usr/local/elk/kibana-6.7.1-linux-x86_64/config/kibana.yml

在这里插入图片描述

③ 运行Kibana

1) 启动Kibana

进入kibana的bin文件夹

cd /usr/local/elk/kibana-6.7.1-linux-x86_64/bin
ls

在这里插入图片描述
运行kibana

./kibana &

报了4个warning
在这里插入图片描述
在这里插入图片描述
一个error
在这里插入图片描述
warning不想改了，校园网断了，睡了一晚第二天再启动的时候error没了，增加了个warning，查询后发现无伤大雅…然后关了进程再启动一次，这个warning也消失了…

2) 查看kibana是否正确运行：
ps -ef | grep kibana
ps -ef | grep node
netstat -tunlp | grep 5601

在这里插入图片描述
第一条命令检查kibana是否启动，显然没查询到PID，第二条命令检查node是否运行，显然是在运行，由于kibana在node里运行，且使用5601端口，第三条命令说明Kibana已经在运行

3) 验证Kibana外网是否可访问

打开浏览器，输入地址：x.x.x.x:5601（x.x.x.x是你部署kibana的服务器地址），如果显示该页面，则表示成功访问。
显然会失败，为什么呢？(实验指南上没说开启防火墙的端口，坏。
因为又忘记打开防火墙的5601端口了

firewall-cmd --zone=public --add-port=5601/tcp --permanent
systemctl restart firewalld.service

设置后再次访问：
在这里插入图片描述
点击try our sample data，就有指导上的页面了
在这里插入图片描述

(5) Logstash部署:

① 切换至部署个人项目的服务器，解压文件到/usr/local/elk

cd /usr/local/elk
tar -zxvf logstash-6.7.1.tar.gz -C /usr/local/elk

在这里插入图片描述
看一下目录下有些啥

cd /usr/local/elk/logstash-6.7.1
ls

在这里插入图片描述
Logstash重要目录结构：

Bin脚本程序
Config存放配置文件，包括logstash.yml
Data存放数据

② 配置logstash管道

在config文件夹中创建logstash.conf文件
可以

cd config
ls
vim logstash.conf

然后输入
在这里插入图片描述
也可以在xftp里右键logstash-sample.conf用记事本编辑，然后复制里面的内容，接着右键空白处新建logstash.conf，然后粘贴。
当然最简单的是直接不建。

③ 启动logstash

先打开防火墙的5044端口：

firewall-cmd --zone=public --add-port=5044/tcp --permanent
systemctl restart firewalld.service

cd /usr/local/elk/logstash-6.7.1/bin

如果你新建了logstash.conf则使用下面一条命令:

./logstash -f ../config/logstash.conf &

如果没有新建logstash.conf，则使用：

./logstash -f ../config/logstash-sample.conf &

后面的参数是管道配置文件，改变的就是管道配置文件名，其实内容都是一样的
在这里插入图片描述
warning直接看不见，后面有一个WARN:Ignoring the ‘pipelines.yml’ file because modules or command line options are specified。
如果没有指定logstash.conf（就是上面命令后面跟的参数文件）作为管道配置文件，logstash会默认读取pipelines.yml作为管道配置文件，而我们没有编辑pipelines.yml，会出现以下错误。（摘自实验指南）
在这里插入图片描述

(6) Beats部署

在配置文件中设置输出到logstash，所以output下面的elasticsearch全部注释

① 解压文件到/usr/local/elk

cd /usr/local/elk
tar -zxvf filebeat-6.7.1-linux-x86_64.tar.gz -C /usr/local/elk
tar -zxvf packetbeat-6.7.1-linux-x86_64.tar.gz -C /usr/local/elk
tar -zxvf metricbeat-6.7.1-linux-x86_64.tar.gz -C /usr/local/elk

② 配置并部署filebeat

1) 配置filebeat

使用vim编辑filebeat.yml配置文件

cd /usr/local/elk/filebeat-6.7.1-linux-x86_64
vim filebeat.yml

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

注意：elasticsearch里的内容需要全部注释，默认是有配置的
在这里插入图片描述

解释如下：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2) 启动filebeat
cd /usr/local/elk/filebeat-6.7.1-linux-x86_64
./filebeat &

查看filebeat是否运行成功

ps -ef | grep beat

在这里插入图片描述

③ 配置并部署metricbeat

1) 配置metricbeat
cd /usr/local/elk/metricbeat-6.7.1-linux-x86_64
vim metricbeat.yml

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

2) 启动metricbeat

启动服务

./metricbeat &

查看是否启动成功

ps -ef | grep beat

在这里插入图片描述

④ 配置并部署packetbeat

1) 配置packetbeat
cd /usr/local/elk/packetbeat-6.7.1-linux-x86_64
vim vim packetbeat.yml

在这里插入图片描述
在这里插入图片描述

2) 启动packetbeat
./packetbeat &
ps -ef | grep beat

在这里插入图片描述

4. 使用Kibana

(1) 访问Kibana

对于我的本次实验，即访问http://10.64.26.86:5601
在这里插入图片描述

(2) 设置Index索引

进入Discover选项
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
点击Create index pattern
在这里插入图片描述

(3) 查看数据

在这之前你必须确保你要使用的beat的服务是开着的

ps -ef | grep beat

如果没有打开，可以到相应的文件夹下像之前那样打开服务

① 切换索引查看接收到的数据

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

② 查看日志

本次演示配置采集日志文件如下图所示：
在这里插入图片描述
我没有配置mysql。
在这里插入图片描述
下面这个没有配置：
在这里插入图片描述
在这里插入图片描述
点击kibana左侧菜单的Logs选项进入日志查询界面。
在搜索框中输入log.file.path:”想要查看的日志文件名”， 例如”/var/log/mysqld.log”。回车查询即可搜索到匹配的日志文件内容进行查看。
在这里插入图片描述
打开服务器/var/log/mysqld.log文件验证日志内容一致，即采集成功。
在这里插入图片描述

(4) 使用仪表盘

① 查看kibana提供的仪表盘加载是否成功

在这里插入图片描述

② 选择适合的仪表盘进行查看

1) 使用metricbeat仪表盘

在这里插入图片描述
后面根据指南进行就好。

我看你差不多得了
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
云计算实验1
weixin_52821173的博客
12-13 562
拓扑图： 实验要求： 拓扑分析： 根据要求1可分配IP如拓扑图所示 可先分成192.168.1.0/25和192.168.1.128/25两大段 然后把1.128分成8段分配给8个环回地址 将1.0分成八段将其中六段分配给六段骨干链路 又因为要求4要尽量减少路由器 所以可以把八个环回地址网段汇总为四个 由要求3可得 需要给R1-R4写入缺省路由 因为要求4中说明需避免环路 所以需给汇总的黑洞路由写入空接口路由 由要求5可知 需要写入浮动静态路由 每台设备的配置及配置解析： R1...
云计算上机实验二ELK实时日志分析平台环境搭建报告
07-04
云计算上机实验二ELK实时日志分析平台环境搭建报告
云计算上机实验一
helloBanksy的博客
06-29 1469
云计算实验一
云计算 熟悉常用的LINUX操作和hadoop部署相关操作 实验报告
m0_60375625的博客
05-30 1020
（5）在本机Hadoop实验环境下，修改主节点和从节点名称，主节点名称为你的姓（拼音），从节点的名称为你的名（拼音），主机名修改后，还要修改哪些设置内容，本机Hadoop实验环境才会正常运行。（3）Hadoop部署为伪分布式模式，没有配置yarn，是否会出错，若不出错，部署成功后，如何启动。出现的问题：1.修改文件内容时没有权限，对于普通用户只是可读文件，要以root身份进入后修改文件。（4）Hadoop部署为伪分布式模式后，在此基础上，如何设置，就为分布式模式。
云计算实验
一个人走的博客
04-21 3014
文章目录1.准备工作1.1 安装虚拟机 1.准备工作 1.1 安装虚拟机
【云计算导论实验4】Docker
Leon14138的博客
12-19 3580
【云计算导论实验4】Docker一、Docker的安装二、 容器操作三、 搭建一个Docker应用栈四、实现私有云 一、Docker的安装 二、 容器操作 三、 搭建一个Docker应用栈 四、实现私有云
云计算实验1 基于Hadoop的云计算平台配置和map-reduce编程案例
MrNeo的博客
10-23 3351
云计算实验一
软院云计算上机实验一应用部署及高可用
07-04
软院云计算上机实验一应用部署及高可用
南京信息工程大学-云计算-上机实验与作业.zip
最新发布
05-15
实验二可能进一步深入到云服务器的管理和运维，包括使用自动化工具如Ansible或Terraform来部署和管理云资源，或者学习如何在云环境中实现负载均衡和弹性扩展，理解云计算的高可用性和容错机制。 实验三则可能关注...
南京信息工程大学-云计算大作业-上机实验与报告内含源码和说明书.zip
05-15
南京信息工程大学的这门云计算大作业是一次深入学习和实践云计算技术的综合任务，包含了上机实验和相应的报告，旨在帮助学生理解并掌握云计算的核心概念和技术。在实验部分，学生们可能通过编写源码来模拟或实现...
2023年广工虚拟化与云计算实验报告
07-05
2、撰写上机实验报告。 二、说明 1、该实验实现了Hadoop的运行环境搭建，包括虚拟机环境准备，安装JDK，安装Hadoop；配置了Hadoop的三种运行模式，包括本地运行模式，伪分布式运行模式，完全分布式运行模式；实现了...
hnu云计算个人实验报告——实验六
zzs92987的博客
03-04 943
3. 在Mobaxterm中开启New session，选择RDP协议，填写虚拟机的IP地址、Linux系统用户和密 码，其中IP地址必填，用户名和密码可以不输入。b. 您的讯息显示了吗？2. 注销登录，返回SDDM显示器管理登录界面 用户登录后，在菜单中选择注销，退出桌面环境，TTY1是否能返回到图形登录界面？10. 在前面的步骤中，您更改了配置文件，然后注销并登录以激活新设置。4. 注销登录，返回GDM显示器管理登录界面 用户登录后，在菜单中选择注销，退出桌面环境，TTY1是否能返回到图形登录界面？
虚拟化与云计算实验
Young77775的博客
04-26 1081
学习Hadoop 开源云计算平台的安装、配置和应⽤。实习MapReduce 并⾏计算程序编程。
云计算HCIP实验-OpenStack搭建
mayunfei233的博客
03-01 2730
文章目录前期准备1. 环境规划2. 绑定静态IP3. IP及主机名规划4. 配置OS YUM源5. 关闭防火墙SELinux NetworkManager6. 配置OpenStack YUM源7. 配置NTP服务（服务器端配置）8.配置NTP服务（客户器端配置）9. 在控制节点上部署PackStack 前期准备 rhel-server-7.1-x86_64-dvd.iso（必须是7.1） RHEL7OSP-6.0-2015-02-23.2-x86_64.iso WinSCP VMware 1. 环境规划
云计算技术 综合实验
m0_53227534的博客
12-21 1501
由于在加载数据的过程中，不需要从用户数据格式到Hive定义的数据格式的转换，因此，Hive在加载的过程中不会对数据本身进行任何修改，而只是将数据内容复制或者移动到相应的HDFS目录中。由于raw_user和文件small_user中的第一行是字段的名字，在将文件中的数据传入hive的时候，是不需要这些字段的名字的，这个时候就需要进行删除操作。将Hive中的数据导入到MySQL数据库的时候，建议使用sqoop软件，使用书上的端口号进行导入的时候会报错，而且数据经常丢失。之后需要确定HDFS中有这个文件。
云计算平台构建与实验设计
热门推荐
照玄
07-31 3万+
课程设计任务书 一、作业目的 物联网的核心是应用，应用的核心是云计算。通过构建一个云计算平台，并利用这个平台设计云计算实验，将结果与普通的电脑计算比较两者的差别，感受云计算的优越性能，从而对物联网有更深刻的体验与认识。 二、作业内容及要求 能够按照课程设计任务书按照相应的要求完成整个云计算平台的搭建，要完成这个任务，就要对云计算平台的架构和原理有一定的认识，对物
【BIT云计算实验】Spark Local/Standalone模式搭建实验记录
Alice2O3的博客
04-06 4485
菜鸡百丽宫，云计算搞这么离谱的实验，发的教程也没有任何参考价值。 为了补充老师没有提到的关键步骤，同时为了致敬画师Nardack和Krenz，这里专门以这两位为用户名，展开介绍一下从零开始建立Ubuntu虚拟机，查看ip地址，配置ssh无密码相互连接，配置环境变量，Local和Standalone模式运行spark集群的全部步骤，以飨读者。
hnu云计算个人实验报告——实验四
zzs92987的博客
03-04 906
执行脚本两次，一次使 用名为parameters的文件，再一次使用noname的文件。1. 使用条件执行，创建一个名为checkfile的shell脚本，该脚本检查目录中是否存在名为parameters 的文件。2. 现在，创建一个名为math的shell脚本，当从命令行作为输入输入时，将任意两个数字相乘。之后，退出您的子 shell。然后查看junk文件的内容，并检查您保存在此文件中的所有行是否都存在。1. 使用您在本课程中获得的知识编写一个脚本，该脚本接受目录名称作为参数，并计算该目录中文件的总大小。
云计算安全实验-Linux环境下KVM的安装和使用
taylorswift的博客
07-07 2902
一、实验目的 熟悉Linux环境下KVM的安装和使用二、实验环境 centos 7三、实验步骤0、安装VMWare并在其上安装运行Linux虚拟机，并配置和宿主机的文件共享（注意开启虚拟机的CPU VT-x支持）开启虚拟机的CPU VT-x支持 将镜像文件导入虚拟机，我采用了FTP传输，未采用文件共享的方式。1、检查Linux host对虚拟化的支持（CPU vmx标志位和kvm内核模块）查看CPU是否支持虚拟化 cat /proc/cpuinfo | egrep ‘vmx|svm’ 找到flags部分
SQLServer2000与IBMDB2数据库实验教程
本书分为三个部分，包括SQL Server 2000的上机实验、系统开发课程设计以及IBM DB2的数据库管理和应用开发。适合作为计算机科学、信息管理、电子商务等相关专业的本科和专科学生实验指导书，也可供高职、成人教育学生...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值