既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
默认情况下,Elasticsearch中的每个索引被分片5个主分片和1个副本,如果集群中至少有两个节点,索引将会有5个主分片和另外5个副本分片(1个完全拷贝),这样的话每个索引总共就有10个分片。
三、logstash介绍
Logstash由JRuby语言编写,基于消息(message-based)的简单架构,并运行在Java虚拟机(JVM)上。不同于分离的代理端(agent)或主机端(server),LogStash可配置单一的代理端(agent)与其它开源软件结合,以实现不同的功能。
Logstash的理念
1)Collect:数据输入
2)Enrich:数据加工,如过滤,改写等
3)Transport:数据输出(被其他模块进行调用)1.logStash的主要组件
1)Shipper:日志收集者 。负责监控本地日志文件的变化,及时把日志文件的最新内容收集起来。通常,远程代理端(agent)只需要运行这个组件即可;
2)Indexer:日志存储者。负责接收日志并写入到本地文件。
3)Broker:日志Hub。负责连接多个Shipper和多个Indexer
4)Search and Storage:允许对事件进行搜索和存储;
5)Web Interface:基于Web的展示界面
正是由于以上组件在LogStash架构中可独立部署,才提供了更好的集群扩展性。
2.LogStash主机分类
1)代理主机(agent host):作为事件的传递者(shipper),将各种日志数据发送至中心主机;只需运行Logstash 代理(agent)程序。
2)中心主机(central host):可运行包括中间转发器(Broker)、索引器(Indexer)、搜索和存储器(Search and Storage)、Web界面端(Web Interface)在内的各个组件,以实现对日志数据的接收、处理和存储。
四、Kibana介绍
Kibana是一个针对Elasticsearch的开源分析及可视化平台,用来搜索、查看交互存储在Elasticsearch索引中的数据。
使用Kibana,可以通过各种图表进行高级数据分析及展示。Kibana让海量数据更容易理解。操作简单,基于浏览器的用户界面可以快速创建仪表板(dashboard)实时显示 Elasticsearch查询动态。设置Kibana非常简单。无需编写代码,几分钟内就可以完成Kibana安装并启动Elasticsearch索引监测。主要功能:
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。2)整合数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3)复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。
4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5)接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
6)配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。
7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、Fluentd(作为一套收集容器日志的采集器)等。
8)简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,直观的发现新结果。
五、配置ELK日志分析系统
配置和安装ELK日志分析系统,安装集群方式,2个elasticsearch节点,并监控apache服务器日志。
主机 操作系统 主机名 IP地址 主要软件 服务器 Centos7.6 node1 192.168.22. Elasticsearch Kibana 服务器 Centos7.6 node2 192.168.22. Elasticsearch 服务器 Centos7.6 apache 192.168.22. Logstash Apache 1.配置elasticsearch环境
(1)node1
vim /etc/hosts java -version rpm -ivh jdk-8u201-linux-x64.rpm vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH source /etc/profile
(2)node2
vim /etc/hosts rpm -ivh jdk-8u201-linux-x64.rpm java -version vim /etc/profile.d/java.sh export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH source /etc/profile.d/java.sh java -version
2.部署elasticsearch软件
node1
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
(2)加载系统服务
sudo systemctl daemon-reload sudo systemctl enable elasticsearch.service
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node1 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 日志存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存(前端缓存。与IOPS-性能测试方式,每秒读写次数相关) 55 network.host: 0.0.0.0 提供服务绑定的IP地址,0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 集群发现通过单播实现“单播” grep -v "^#" /etc/elasticsearch/elasticsearch.yml
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service 需要等待一段时间让他启动,可以直接看日志:tail -f /var/log/elasticsearch/elas-cluster.log netstat -antp | grep 9200
(6)查看节点信息
node2
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
(2)加载系统服务
systemctl daemon-reload systemctl enable elasticsearch.service
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node2 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 数据存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存 55 network.host: 0.0.0.0 提供服务绑定的IP地址,0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 群发现通过单播实现 grep -v "^#" /etc/elasticsearch/elasticsearch.yml
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service netstat -antp | grep 9200
(6)查看节点信息
(7)集群检查健康和状态
3.安装elasticsearch-head插件
node1
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
(1)安装phantomjs前端框架
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
(2)安装elasticsearch-head数据可视化工具
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件,末尾 http.cors.enabled: true 开启跨域访问支持,默认为false http.cors.allow-origin: "*" 跨域访问允许的域名地址 systemctl restart elasticsearch
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
node2
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
(1)安装phantomjs
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
(2)安装elasticsearch-head
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件,末尾 http.cors.enabled: true http.cors.allow-origin: "*" systemctl restart elasticsearch
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
es
索引(库)→ 类型(表)→ 文档(字段)
(5)创建索引
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
4.安装logstash
做一些日志搜集输出到elasticsearch中
(1)安装Apahce服务(httpd)
yum -y install httpd systemctl start httpd
(2)安装Java环境
java -version 如果没有,安装yum -y install java
(3)安装logstash
cd /opt rpm -ivh logstash-5.5.1.rpm 安装logstash systemctl start logstash.service 启动logstash systemctl enable logstash.service ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 建立logstash软连接
(4)对接测试
logstash(Apache)与elasticsearch(node)功能是否正常
-f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash -e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、stdout作为输出) -t 测试配置文件是否正确,然后退出 (5)Apache服务器
输入采用标准输入 输出采用标准输出
logstash agent
① input
② filter
③ outputlogstash -e 'input { stdin{} } output { stdout{} }' www.baidu.com 需要输入www.baidu.com www.sina.com.cn 需要输入www.sina.com.cn
(6)使用rubydebug显示详细输出,codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }' www.baidu.com
使用logstash将信息写入elasticsearch中 输入 输出 对接
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
ut { stdout{} }’
www.baidu.com 需要输入www.baidu.com
www.sina.com.cn 需要输入www.sina.com.cn
#### (6)使用rubydebug显示详细输出,codec为一种编解码器
logstash -e ‘input { stdin{} } output { stdout{ codec=>rubydebug } }’
www.baidu.com
![](https://img-blog.csdnimg.cn/6fdcb69c08164ea3a9a87c139437a233.png) 使用logstash将信息写入elasticsearch中 输入 输出 对接
[外链图片转存中…(img-2410PrfA-1715467290583)]
[外链图片转存中…(img-kN7j0HMy-1715467290584)]
[外链图片转存中…(img-yPal7It4-1715467290584)]
既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新