基于静态网页--elk日志数据采集项目

nginx:web服务器+反向代理（代理客户端请求tomcat服务器，实现负载均衡功能）

Kibana安装（es安装软件安装完毕）

1. 将压缩包kibana-7.8.0-linux-x86_64.tar，解压安装到module

2. 需kibana/config:Kibana.yml添加（空格得自己空格，这里为了提醒写出来！！！）：

server.host:(空格)“0.0.0.0”   #为了使kibana图形化界面能够在别的界面访问

启动：

网页访问：hadoop102:5601（默认）

Tomcat安装

linux中解压安装：

启动tomcat（./startup.sh）:

网页查看显示（名字+端口号）:

再停掉tomcat（./shutdown.sh）：

静态资源案例：查看测试

先解压到module目录（随便哪个目录，自己知道就好）下，全是网页和图片

将静态资源放置进去并能在网页上查看（两种方法）

1. 将静态资源拖进Tomcat文件下的webapps

重启Tomcat，网页查看：

2. 将静态资源放回原来module目录下，进入Tomcat/conf/server.xml 文件中，最后</host>上面添加：

<Context path="manager" docBase="/opt/module/manager-test" debug="0" reloadble="true"/>

再启动Tomcat网页查看

nginx基本环境安装教程

1. root用户下，联网(不用指定目录):

查看是否成功：gcc -v

安装其他第三方开发包：

yum install -y pcre pcre-devel 解析正则表达式

yum install -y zlib zlib-devel 压缩，解压

yum install -y openssl openssl-devel 不仅支持http，还支持HTTPS

2. 正式安装

先解压，在nginx根目录下执行：

./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi

切root用户，根目录下输入make命令，生成很多点击文件

再make install安装 查看是否成功，看是否有目录：

创建临时文件夹：

进入/user/local/nginx/conf目录下，修改配置文件

启动/usr/local/nginx：sbin/nginx 关闭：sbin/nginx -s quit

启动nginx再网页查看之前部署好的静态资源：

Logstach的使用方式

执行需要的配置文件（普通用户）：

1. 从控制台采集数据，将数据输出到控制台，编辑一个test.conf配置文件，添加内容：

简单测试（开两台，一台运行，一台发送并接收信息）：

2. 从es采集数据：启动es,再kibana

控制台：put mytest

再GET _cat/indices查看索引库

插入测试数据：

修改logstach配置文件：

测试能否从es获取数据：

静态资源的日志获取

！！！注意！！！

日志文件：/var/log/nginx/

命令文件：/usr/local/nginx

将两个配置文件放入logstach下

移动这两个文件到相应目录下

修改nginx_logstash.conf配置文件：

执行（nginx数据导入es）：

点击网页，显示：

查看点击后索引库生成的日志数据：

查询索引库的信息（es的几种查询方式）

GET mytest/_search
PUT mytest
PUT mytest/_doc/1001
{
  "name":"zhangsan",
  "age":20
}

GET _cat/indices

#设置分片数
PUT logstash-nginx_access-2022.10.30/_settings
{
        "number_of_replicas":2
}

#全局查询/全量查询/全查询
GET /logstash-nginx_access-2022.10.30/_search
{
  "query": {
    "match_all": {}},
    "sort":[
        {
             "@timestamp":"desc"
       }
    ]
}

#分页查询（起始编号的计算：(页码-1)*每页显示的条数）
GET /logstash-nginx_access-2022.10.30/_search
{
    "query":{
        "match_all":{
            
        }
    },
    "from":3,
    "size":2
}

#单条件查询("request":"bootstrap")
GET /logstash-nginx_access-2022.10.30/_search?q=request:bootstrap
{
    "query":{
        "match":{
            "request":"bootstrap"
        }
    }
}

#多条件查询("request":"bootstrap"and "request":"js")
GET /logstash-nginx_access-2022.10.30/_search
{
    "query":{
        "bool":{
            "must":[   
                {
                    "match":{
                        "request":"bootstrap"
                    }
                },
                {
                     "match":{
                        "request":"js"
                    }
                
                }
            ]
        }
    }
}

#完全匹配查询("request":"markdown")
GET /logstash-nginx_access-2022.10.30/_search
{
    "query":{
        "match_phrase":{
            "request":"markdown"
        }
    }
}

#范围查询("request":"bootstrap"or "response":200  “gte"是大于等于 )
GET /logstash-nginx_access-2022.10.30/_search
{
    "query":{
        "bool":{
            "should":[   
                {
                    "match":{
                        "request":"bootstrap"
                    }
                },
                {
                     "match":{
                        "response":200
                    }
                
                }
            ],
            "filter":{
                "range":{
                    "response":{
                        "gte":200
                    }
                }
            }
        }
    }
}

GET /logstash-nginx_access-2022.10.30/_search
{
  "query": {
    "bool": {
      "must": [
        {
          "match": {
            "request": "markdown"
          }
        }
      ],
      "must_not": [
        {
          "range": {
            "bytes": {
              "gte": "400"
            }
          }
        }
      ]
    }
  }
}




#模糊查询（"request": "/css"）
GET /logstash-nginx_access-2022.10.30/_search
{
  "query": {
      "fuzzy": {
        "request": "/css"
      }
  }
}

#高亮查询（"request":"markdown"）
GET /logstash-nginx_access-2022.10.30/_search
{
    "query":{
        "match_phrase":{
            "request":"markdown"
        }
    },
    "highlight":{
        "fields":{
            "request":{}
        },
        "pre_tags":"<font color='red'>",
        "post_tags":"</font>"
    }
}

这个主要是自己的学习笔记，仅供参考哈

安装好了之后获取日志数据的采集主要是修改logstach的配置文件，再查看就行了。