既有适合小白学习的零基础资料,也有适合3年以上经验的小伙伴深入学习提升的进阶课程,涵盖了95%以上大数据知识点,真正体系化!
由于文件比较多,这里只是将部分目录截图出来,全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频,并且后续会持续更新
主要功能:
1)Elasticsearch无缝之集成。Kibana架构为Elasticsearch定制,可以将任何结构化和非结构化数据加入Elasticsearch索引。
Kibana还充分利用了Elasticsearch强大的搜索和分析功能。2)整合数据。Kibana能够更好地处理海量数据,并据此创建柱形图、折线图、散点图、直方图、饼图和地图。
3)复杂数据分析。Kibana提升了Elasticsearch分析能力,能够更加智能地分析数据,执行数学转换并且根据要求对数据切割分块。
4)让更多团队成员受益。强大的数据库可视化接口让各业务岗位都能够从数据集合受益。
5)接口灵活,分享更容易。使用Kibana可以更加方便地创建、保存、分享数据,并将可视化数据快速交流。
6)配置简单。Kibana的配置和启用非常简单,用户体验非常友好。Kibana自带Web服务器,可以快速启动运行。
7)可视化多数据源。Kibana可以非常方便地把来自Logstash、ES-Hadoop、Beats或第三方技术的数据整合到Elasticsearch,支持的第三方技术包括Apache Flume、Fluentd(作为一套收集容器日志的采集器)等。
8)简单数据导出。Kibana可以方便地导出感兴趣的数据,与其它数据集合并融合后快速建模分析,直观的发现新结果。
五、配置ELK日志分析系统
配置和安装ELK日志分析系统,安装集群方式,2个elasticsearch节点,并监控apache服务器日志。
主机 操作系统 主机名 IP地址 主要软件 服务器 Centos7.6 node1 192.168.22. Elasticsearch Kibana 服务器 Centos7.6 node2 192.168.22. Elasticsearch 服务器 Centos7.6 apache 192.168.22. Logstash Apache 1.配置elasticsearch环境
(1)node1
vim /etc/hosts java -version rpm -ivh jdk-8u201-linux-x64.rpm vim /etc/profile export JAVA_HOME=/usr/local/jdk1.8.0_91 export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH source /etc/profile
(2)node2
vim /etc/hosts rpm -ivh jdk-8u201-linux-x64.rpm java -version vim /etc/profile.d/java.sh export JAVA_HOME=/usr/java/jdk1.8.0_201-amd64 export CLASSPATH=.:$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar export PATH=$JAVA_HOME/bin:$PATH source /etc/profile.d/java.sh java -version
2.部署elasticsearch软件
node1
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
(2)加载系统服务
sudo systemctl daemon-reload sudo systemctl enable elasticsearch.service
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node1 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 日志存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存(前端缓存。与IOPS-性能测试方式,每秒读写次数相关) 55 network.host: 0.0.0.0 提供服务绑定的IP地址,0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 集群发现通过单播实现“单播” grep -v "^#" /etc/elasticsearch/elasticsearch.yml
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service 需要等待一段时间让他启动,可以直接看日志:tail -f /var/log/elasticsearch/elas-cluster.log netstat -antp | grep 9200
(6)查看节点信息
node2
(1)安装elasticsearch—rpm包
cd /opt rpm -ivh elasticsearch-5.5.0.rpm
(2)加载系统服务
systemctl daemon-reload systemctl enable elasticsearch.service
(3)更改elasticsearch主配置文件
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak vim /etc/elasticsearch/elasticsearch.yml 17 cluster.name: my-elk-cluster 集群名字 23 node.name: node2 节点名字 33 path.data: /data/elk_data 数据存放路径 37 path.logs: /var/log/elasticsearch/ 数据存放路径 43 bootstrap.memory_lock: false 不在启动的时候锁定内存 55 network.host: 0.0.0.0 提供服务绑定的IP地址,0.0.0.0代表所有地址 59 http.port: 9200 侦听端口为9200 68 discovery.zen.ping.unicast.hosts: ["node1", "node2"] 群发现通过单播实现 grep -v "^#" /etc/elasticsearch/elasticsearch.yml
(4)创建数据存放路径并授权
mkdir -p /data/elk_data chown elasticsearch:elasticsearch /data/elk_data/
(5)启动elasticsearch是否成功开启
systemctl start elasticsearch.service netstat -antp | grep 9200
(6)查看节点信息
(7)集群检查健康和状态
3.安装elasticsearch-head插件
node1
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
(1)安装phantomjs前端框架
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
(2)安装elasticsearch-head数据可视化工具
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件,末尾 http.cors.enabled: true 开启跨域访问支持,默认为false http.cors.allow-origin: "*" 跨域访问允许的域名地址 systemctl restart elasticsearch
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
node2
yum install gcc gcc-c++ make -y cd /opt tar xzvf node-v8.2.1.tar.gz cd node-v8.2.1/ ./configure make -j3 make install
(1)安装phantomjs
cd /usr/local/src/ tar xjvf phantomjs-2.1.1-linux-x86_64.tar.bz2 cd phantomjs-2.1.1-linux-x86_64/bin cp phantomjs /usr/local/bin
(2)安装elasticsearch-head
cd /usr/local/src/ tar xzvf elasticsearch-head.tar.gz cd elasticsearch-head/ npm install
(3)修改主配置文件
cd vim /etc/elasticsearch/elasticsearch.yml 下面配置文件,末尾 http.cors.enabled: true http.cors.allow-origin: "*" systemctl restart elasticsearch
(4)启动elasticsearch-head 启动服务器
cd /usr/local/src/elasticsearch-head/ npm run start & 切换到后台运行 netstat -lnupt | grep 9100 netstat -lnupt | grep 9200
es
索引(库)→ 类型(表)→ 文档(字段)
(5)创建索引
curl -XPUT 'localhost:9200/index-demo/test/1?pretty&pretty' -H 'content-Type: application/json' -d '{"user":"zhangsan","mesg":"hello world"}'
4.安装logstash
做一些日志搜集输出到elasticsearch中
(1)安装Apahce服务(httpd)
yum -y install httpd systemctl start httpd
(2)安装Java环境
java -version 如果没有,安装yum -y install java
(3)安装logstash
cd /opt rpm -ivh logstash-5.5.1.rpm 安装logstash systemctl start logstash.service 启动logstash systemctl enable logstash.service ln -s /usr/share/logstash/bin/logstash /usr/local/bin/ 建立logstash软连接
(4)对接测试
logstash(Apache)与elasticsearch(node)功能是否正常
-f 通过这个选项可以指定logstash的配置文件,根据配置文件配置logstash -e 后面跟着字符串 该字符串可以被当做logstash的配置(如果是” ”,则默认使用stdin做为输入、stdout作为输出) -t 测试配置文件是否正确,然后退出 (5)Apache服务器
输入采用标准输入 输出采用标准输出
logstash agent
① input
② filter
③ outputlogstash -e 'input { stdin{} } output { stdout{} }' www.baidu.com 需要输入www.baidu.com www.sina.com.cn 需要输入www.sina.com.cn
(6)使用rubydebug显示详细输出,codec为一种编解码器
logstash -e 'input { stdin{} } output { stdout{ codec=>rubydebug } }' www.baidu.com
使用logstash将信息写入elasticsearch中 输入 输出 对接
logstash -e 'input { stdin{} } output { elasticsearch { hosts=>["192.168.22.196:9200"] } }' www.baidu.com 输入内容 www.sina.com.cn 输入内容 www.google.com.cn 输入内容
5. Apache做对接配置
(1)logstash配置文件
Logstash配置文件主要由三部分组成:input、output、filter(根据需要)
chmod o+r /var/log/messages ll /var/log/messages
(2)配置文件中定义的是收集系统日志(system)
vim /etc/logstash/conf.d/system.conf input { file{ path => "/var/log/messages" type => "system" start_position => "beginning" } } output { elasticsearch { hosts => ["192.168.22.196:9200"] index => "system-%{+YYYY.MM.dd}" } }
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!
chmod o+r /var/log/messages
ll /var/log/messages
#### #### (2)配置文件中定义的是收集系统日志(system)
vim /etc/logstash/conf.d/system.conf
input {
file{
path => “/var/log/messages”
type => “system”
start_position => “beginning”
}
}
output {
elasticsearch {
hosts => [“192.168.22.196:9200”]
index => “system-%{+YYYY.MM.dd}”
}
}
[外链图片转存中…(img-QqGKvKbf-1715105573854)]
[外链图片转存中…(img-gElEYpk7-1715105573854)]
网上学习资料一大堆,但如果学到的知识不成体系,遇到问题时只是浅尝辄止,不再深入研究,那么很难做到真正的技术提升。
一个人可以走的很快,但一群人才能走的更远!不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人,都欢迎加入我们的的圈子(技术交流、学习资源、职场吐槽、大厂内推、面试辅导),让我们一起学习成长!