JCWang的博客

Metricbeat附带预定义资产，用于解析、索引和可视化您的数据。要加载这些资产在安装目录执行。登录kibana查看堆栈监测，查看监测的节点和节点的索引。编辑elasticsearch-xpack模块配置文件。按需启用elasticsearch-xpack模块。Metricbeat使用模块来收集指标。确定需要启用的模块,查看可用模块的列表。在Metricbeat安装目录下。进入metricbeat目录配置。进入modules.d目录下。

编辑kibana配置文件，配置es的账户和密码。编辑es配置文件，添加以下内容开启es认证。暂停相关服务,避免kibana报错。会一次设置多种账户的密码。访问kibana进行测试。

部署kibana后需要汉化的可以参考以下内容。我的kibana版本：7.17。修改kibana的配置文件。确保kibana正常启动。刷新页面，就汉化完成了。

消息批次等待时间，当消息批次大小一直未达到默认的消息批次大小，在等待该时长后将消息发出。当存储超过95％的磁盘中的节点上分配了一个或多个分片的任何索引，该索引将被强制进入只读模式。如果你的架构中使用kafka消息队列系统作为缓存，也可以针对kafka进行优化。默认的消息批次大小，不要设置太大，会导致消息需要等很久才被发出，增加网络延时。增加服务器用于处理请求的线程数，其中可能包括磁盘I/O。生产者可以用来缓冲等待发送到服务器的消息的总内存字节数。在设置时，要考虑到系统与其他进程，保留一定的内存给他们。

参考：https://blog.csdn.net/diaoling5423/article/details/101916664https://blog.csdn.net/weixin_41187876/article/details/86694720https://johng.cn/filebeat-command-configuration/

Rsyslog收集网络设备日志参考https://blog.csdn.net/qq_40907977/article/details/1030060271.关闭防火墙和selinux2.检查是否安装rsyslog,centos 会默认安装rpm -qa|grep rsyslog编辑rsyslog配置文件vim /etc/rsyslog.conf支持udp协议,支持tcp协议允许514端口接受TCP UDP转发过来的日志添加一个local6.none定义日志的路径为/mnt/h3

kafka做缓存收集日志Kafka是Apache旗下的一款分布式流媒体平台，Kafka是一种高吞吐量、持久性、分布式的发布/订阅模式的消息队列系统。简称发布/订阅模式,例如我微博有30万粉丝，我今天更新了一条微博，那么这30万粉丝都可以接收到我的微博更新，大家都可以消费我的消息。Publisher=发布者Topic=主题Subscriber=订阅者Publish/Subscribe模式工作原理：1.消息发布者Publisher将消息发布到主题Topic中，同时有多个消息消费者 Subscrib

部署logstash来取日志并转发给ES下载logstash安装包，存放到/opt/es-software目录下载地址：https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-6.x/6.6.0/logstash量级比filebeat重，而且比较吃内存，所以日常收集日志的工作交给filebeat来处理安装logstashrpm -ivh logstash-6.6.0.rpm添加一个配置文件cd /etc/logstash/c

redis做缓存收集日志在之前架构的基础上添加redis存储介质与logstash中间件，来缓解es的压力因为es集群处理日志会达到一个峰值，当无法处理时，日志被就会被丢弃，造成分析日志就不精确filebeat收集的日志会先存到redis中去，redis不会主动将日志发给logstashlogstash会向redis要日志，然后logstash会把日志给到es集群部署redis安装redisyum install redis -y修改redis配置文件vim /etc/redis.con

filebeat收集nginx的普通格式日志开通nginx的模块功能1.开通nginx的模块功能filebeat modules enable nginx#使用最简单的方式cd /etc/filebeat/modules.d/mv nginx.yml.disabled nginx.yml2、检查是否开启成功filebeat modules list修改nginx模块的配置文件cd /etc/filebeat/modules.d/vim nginx.yml把nginx的日志格式还原

elk的好处1.从开发的角度来说,项目上线后,就可以收集到日志的信息,比手动找错误日志方便太多了2.从运维的角度来说,更方便定位错误,减少很多不必要的工作3.从公司的角度来说，节约人力成本......

kibana画图以nginx访问日志为例先多生成些访问日志，好看点排名前5的访问IP信息1.点击可视化，再点击创建可视化2.点击数据表3.选之前创建好的nginx访问日志4.指标下的聚合中选择Count数量5.选择对应的参数，按访问数量，倒序，排名前5的6.就会展示出来，这里因为日志量不是很大所以只有前两个7.保存一下便于后期使用排名前5的请求url创建一个饼状图返回状态信息404状态的有15次,占总状态数的4.73%304状态的有302次,占总数的9

filebeat模块功能收集mysql慢日志1.先开启filebeat模块功能vim filebeat.yml.bak复制到filebeat.yml下path: ${path.config}/modules.d/*.yml #${path.config}代表的是/etc/filebeat/这段路径reload.enabled: true #打开载入功能reload.period: 10s

filebeat收集java日志查询官网文档，解决如何收集多行报错的日志信息https://www.elastic.co/guide/en/beats/filebeat/6.6/multiline-examples.html1.安装个java写的应用，这里用ES来顶替java应用2…修改ES的配置文件，人为的制造一些错误日志vim /etc/elasticsearch/elasticsearch.yml3.启动ES服务systemctl restart elasticsearch4.编辑f

filebeat收集tomcat日志首先装tomcat1.可以在官网进行下载2.下载好后，将压缩包放到统一的目录下3.确保已经装过JDKjava -version4.解压tomcat的包到/opttar -xf apache-tomcat-8.5.65.tar.gz -C /opt5.创建一个软链接ln -s apache-tomcat-8.5.65/ /opt/tomcat6.启动tomcat，进入tomcat下的bin目录cd /opt/tomcat/bin执行startup

elk-filebeat收集nginx的两种日志1.编辑filebeat配置文件,加入错误日志的路径但是，错误日志会与访问日志混合在一起，所以每个input都要单独对应一个output,不要把所有日志都打到一个索引中去2.修改filebeat配置文件,通过不同的日志来源判断，该日志该打到哪个索引中去。filebeat.inputs:- type: logenabled: truepaths:- /var/log/nginx/access.logjson.keys_under_root:

filebeat收集nginx的json格式日志当我们看到收集上来的日志格式不是我们想要的格式，可以通过修改配置文件来解决这一问题1.可以通过修改nginx的配置文件，来改变日志的格式vim /etc/nginx/nginx.conf log_format json'{"time_local": "$time_local",' '"remote_addr":"$remote_addr", ' '"referer":"$http_

收集的日志通过kibana展示1.打开kibana界面，点击Management,找到Kibana下的index Patterns2.输入索引名称3.点击选择时间戳4.点击Discover,选择刚才添加的索引名称，选择时间5.日志就会显示出来6.点开仔细查看日志内容7.也可自定义显示哪些日志内容......

针对filebeat索引优化官方：https://www.elastic.co/guide/en/beats/filebeat/6.6/configuration-template.html1.默认生成的索引名称，有时候不是我们想要的2.我们可以通过修改配置文件的方试来，生成我们想要的索引名称修改filebeat的主配置文件vim /etc/filebeat/filebeat.ymlfilebeat.inputs:- type: logenabled: truepaths:- /var

使用filebeat收集nginx日志1.首先安装一个nginx进行测试yum install nginx -ysystemctl start nginx查看监听端口是否起来2.在浏览器访问测试3.删除目录下现有内容，追加自己的内容访问测试4.下载filebeat,统一放在/opt/es-software目录下5.安装filebeat6.查看一下filebeat有哪些配置文件7.进入配置文件目录，将主配置文件重新命名8.重新创建一个新的配置文件vim fileb

动态扩展分词器词典1.安装nginxyum install nginx -y2.进入到 /etc/nginx/conf.d/cd /etc/nginx/conf.d/新建一个 www.conf文件vim www.conf输入以下内容server {listen 80;server_name elk.wan.com;location / {root /usr/share/nginx/html/download;charset utf-8,gbk;autoindex on;auto

部署中文分词器为了使中文词语合理的划分所以用分词器为了把一些自定义的词语，能够识别出来github:https://github.com/medcl/elasticsearch-analysis-ik/releases1.在没有分词器的情况下，在插入测试数据后，搜索关键词时，并不会显示想要的结果，而是将词语拆分成了单个的字2.下载分词器的包github:https://github.com/medcl/elasticsearch-analysis-ik/releases/tag/v6.6.0

生产中监控集群1.查看节点数量curl -XGET http://192.168.51.187：9200/_cat/nodes2.查看集群健康状态，当特定的值发生变化时，可以通过zabbix进行报警，通知相关人员进行处理例如：节点的数量，集群健康值curl 'http://192.168.51.187:9200/_cluster/health?pretty'......

elasticdump工具备份索引github参考：https://github.com/elasticsearch-dump/elasticsearch-dump1.安装nodejs环境先把nodejs包放到opt目录下，然后解压到/opt目录下tar xf node-v14.16.1-linux-x64.tar.xz -C /opt2.创建一个软链接ln -s /opt/node-v14.16.1-linux-x64 /opt/node3.修改环境变量vim /etc/profile在

部署ES集群1.修改es主配置文件vim /etc/elasticsearch/elasticsearch.yml2.修改集群名称3.配置集群的主机之间相互通讯IP可以一次性都写上，也可以两两串在一起，例如有三台机器192.168.51.187 192.168.51.188192.168.51.188 192.168.51.189192.168.51.187 192.168.51.1894.集群中主节点的选举方式节点数量/2+13/2+1=2（向下取整）也就是三台机器中

配置kibana1.下载kibnan(在统一的路径下opt/es-software)wget https://mirrors.tuna.tsinghua.edu.cn/elasticstack/yum/elastic-6.x/6.6.0/kibana-6.6.0-x86_64.rpm2.安装kibanarpm -ivh kibana-6.6.0-x86_64.rpm3.编辑kibana的主配置文件vim /etc/kibana/kibana.yml4.开放监听端口5.修改服务的本机IP地址

3.elk-head插件与ES交互方法一：(不推荐)添加epelwget -O /etc/yum.repos.d/epel.repo http://mirrors.aliyun.com/repo/epel-7.repo安装nodejs npm openssl screenyum install nodejs npm openssl screen -y#配置nodejs环境查看版本信息node -vnpm -v把npm转为cnpm为了使用淘宝源npm install -g cnpm --r

elasticsearch终端与ES交互es对比mysqlPUT:创建一个索引POST:随机写入GET:查询数据DELETE:删除索引es对比mysql索引：相当于MYSQL中的一个数据库类型：相当于一个数据库中的一张表docs:相当于一张表中的每一行数据PUT:创建一个索引创建一个索引，索引名称叫wancurl -XPUT http://192.168.51.187:9200/wan?pretty以上结果表示索引创建成功-X是固定的格式，后面跟对索引的操作，例如创建删除等操作pret

ELKelk1.elk-环境初始化配置JDK安装elasticstack下载安装报错处理解决方案elk1.elk-环境初始化配置1.安装之前先将防火墙与selinux关闭，防止后期出问题2.创建目录用于存放软件包mkdir /opt/es-software/JDK安装3.查看现有JDK版本，并卸载rpm -qa |grep javarpm -e --nodeps java-1.8.0-openjdk-1.7.0.141-2.6.10.5.el7.x86_64rpm -e --nodeps