yanqi_vip

一、Elasticsearch Single-Node Mode部署 ### --- Elasticsearch Single-Node Mode部署 ~~~ Elasticsearch是一个分布式全文搜索引擎， ~~~ 支持单节点模式(Single-Node Mode)和集群模式(Cluster Mode)部署， ~~~ 一般来说，小公司的业务场景往往使用S...

一、简单使用es ### --- 创建blog01索引 ~~~ # 创建blog01索引：若是返回是true，说明创建索引是成功的 [root@hadoop01 ~]# curl -XPUT http://hadoop01:9200/blog01/?pretty ~~~输出参数 { "acknowledged" : true, "shards_acknowle...

一、Elasticsearch 集群环境准备 ### --- hadoop01~03修改系统配置：修改/etc/sysctl.conf ~~~ # 修改/etc/sysctl.conf [root@hadoop01 ~]# vim /etc/sysctl.conf ~~~在文件末尾添加如下参数 vm.max_map_count=655360 ~~~ # 执行sys...

一、安装elasticsearch-head插件 ### --- Elasticsearch Head插件介绍及安装和验证主从环境 ~~~ Elasticsearch Head插件介绍及安装 ### --- elasticsearch-head 简介 ~~~ elasticsearch-head是一个界面化的集群操作和管理工具，可以对集群进行傻瓜式操作。 ~...

一、ElasticSearch-head：谷歌浏览其插件方式安装：测试环境推荐使用 ### --- ElasticSearch-head：谷歌浏览其插件方式安装：# 测试环境推荐使用 ~~~ Elasticsearch 5之后则需要将elasticsearch-head服务单独运行， ~~~ 并且支持Chrome的插件方式或者Docker容器运行方式。 二、...

一、部署kibana服务 ### --- 下载kibana版本包 ~~~ # 下载kibana服务版本包：使用root用户部署 [root@hadoop02 software]# wget -c https://artifacts.elastic.co/downloads/kibana/kibana-7.3.0-linux-x86_64.tar.gz ### --- 部署...

一、安装IK分词器 ### --- 安装IK分词器 ~~~ # hadoop01~03：使用root用户部署IK分词器，然后重启ES服务 ~~~ # 在elasticsearch安装目录的plugins目录下新建 analysis-ik 目录 [root@hadoop02 ~]# mkdir /opt/yanqi/servers/es/elasticsearch/pl...

一、词典使用 ### --- 词典使用 ~~~ # 扩展词： ~~~ 就是不想让哪些词被分开，让他们分成一个词。比如上面的江大桥 ~~~ # 停用词： ~~~ 有些词在文本中出现的频率非常高。但对本文的语义产生不了多大的影响。 ~~~ 例如英文的a、an、the、of等。或中文的”的、了、呢等”。这样的词称为停用词。 ~~~ 停用词...

一、Logstash ### --- Logstash介绍及安装 ~~~ 官网：https://www.elastic.co/guide/index.html ~~~ Logstash：https://www.elastic.co/guide/en/logstash/current/index.html ### --- 介绍 ~~~ Logstash...

一、Input插件部署 ### --- Input插件部署 ~~~ stdin标准输入和stdout标准输出 ### --- 使用标准的输入与输出组件 ~~~ # 使用标准的输入与输出组件，实现将我们的数据从控制台输入，从控制台输出 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash -e...

一、filter插件 ### --- Filter插件 ~~~ Logstash之所以强悍的主要原因是filter插件； ~~~ 通过过滤器的各种组合可以得到我们想要的结构化数据。 ~~~ 官网地址：https://www.elastic.co/guide/en/Logstash/current/plugins-filters-grok.html ### ...

一、Output插件：标准输出到控制台 ### --- 标准输出到控制台 ~~~ # 将收集的数据直接打印到控制台 [root@hadoop02 ~]# /opt/yanqi/servers/es/Logstash/bin/logstash \ -e 'input{stdin{}}output{stdout{codec=>rubydebug}}' ~~~ # 输...

一、日志分析平台实战 一、Nginx部署 ### --- 安装git工具，安装wget下载工具 ~~~ # 安装相关工具包：Hadoop02 [root@hadoop02 ~]# yum install wget git -y [root@hadoop02 ~]# yum install gcc-c++ -y [root@hadoop02 ~]# yum ins...

一、Filebeat ### --- Filebeat ~~~ Filebeat主要是为了解决Logstash工具比较消耗资源比较重的问题， ~~~ 因为Logstash是Java语言编写， ~~~ 所以官方推出了一些轻量级的采集工具，推出了Beats系列，其中使用比较广泛的是Filebeat。 ~~~ 官方地址：https://www.elastic...

一、Logstash读取Kafka ### --- Logstash配置文件 ~~~ 官网地址：https://www.elastic.co/guide/en/logstash/7.3/plugins-inputs-kafka.html ### --- 上传IP地址库 ~~~ # 上传IP地址库到Datas目录下 [root@hadoop02 ~]# ll /o...

NO： Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart ...