nginx:web服务器+反向代理(代理客户端请求tomcat服务器,实现负载均衡功能)
Kibana安装(es安装软件安装完毕)
将压缩包kibana-7.8.0-linux-x86_64.tar,解压安装到module
需kibana/config:Kibana.yml添加(空格得自己空格,这里为了提醒写出来!!!):
server.host:(空格)“0.0.0.0” #为了使kibana图形化界面能够在别的界面访问
![](https://i-blog.csdnimg.cn/blog_migrate/20c562d9b9df1ac8b0733527a724fbc0.png)
启动:
![](https://i-blog.csdnimg.cn/blog_migrate/eb2960e1b6f69ebfaa07185eebb67bad.png)
网页访问:hadoop102:5601(默认)
![](https://i-blog.csdnimg.cn/blog_migrate/73459ae49549af306a63c57a6d3726f0.png)
Tomcat安装
linux中解压安装:
![](https://i-blog.csdnimg.cn/blog_migrate/546565b9a569bd7650f49608919ccedb.png)
启动tomcat(./startup.sh):
![](https://i-blog.csdnimg.cn/blog_migrate/ebaea416c134f6acb2fff279f2067b5f.png)
网页查看显示(名字+端口号):
![](https://i-blog.csdnimg.cn/blog_migrate/4c7f0508d02496ae2280f9c44951c093.png)
再停掉tomcat(./shutdown.sh):
![](https://i-blog.csdnimg.cn/blog_migrate/97ca26bd24afc09198731bd65c4a15ff.png)
静态资源案例:查看测试
先解压到module目录(随便哪个目录,自己知道就好)下,全是网页和图片
![](https://i-blog.csdnimg.cn/blog_migrate/d913c24af8f6791a26a8ec34bfd65261.png)
将静态资源放置进去并能在网页上查看(两种方法)
将静态资源拖进Tomcat文件下的webapps
![](https://i-blog.csdnimg.cn/blog_migrate/fd15e66807b6e83affc0745c507ac5d0.png)
重启Tomcat,网页查看:
![](https://i-blog.csdnimg.cn/blog_migrate/9d019a68160ea3e0a6bf7bd7709bc63c.png)
将静态资源放回原来module目录下,进入Tomcat/conf/server.xml 文件中,最后</host>上面添加:
<Context path="manager" docBase="/opt/module/manager-test" debug="0" reloadble="true"/>
![](https://i-blog.csdnimg.cn/blog_migrate/607eb7dbe3a9e8cbe5bd4434e84d198a.png)
再启动Tomcat网页查看
nginx基本环境安装教程
root用户下,联网(不用指定目录):
![](https://i-blog.csdnimg.cn/blog_migrate/2cfc62c58d6ad038e6e043b5cf3fc097.png)
查看是否成功:gcc -v
![](https://i-blog.csdnimg.cn/blog_migrate/673c15af95d8cdc007b194792262bf08.png)
安装其他第三方开发包:
yum install -y pcre pcre-devel 解析正则表达式
yum install -y zlib zlib-devel 压缩,解压
yum install -y openssl openssl-devel 不仅支持http,还支持HTTPS
正式安装
先解压,在nginx根目录下执行:
./configure \
--prefix=/usr/local/nginx \
--pid-path=/var/run/nginx/nginx.pid \
--lock-path=/var/lock/nginx.lock \
--error-log-path=/var/log/nginx/error.log \
--http-log-path=/var/log/nginx/access.log \
--with-http_gzip_static_module \
--http-client-body-temp-path=/var/temp/nginx/client \
--http-proxy-temp-path=/var/temp/nginx/proxy \
--http-fastcgi-temp-path=/var/temp/nginx/fastcgi \
--http-uwsgi-temp-path=/var/temp/nginx/uwsgi \
--http-scgi-temp-path=/var/temp/nginx/scgi
![](https://i-blog.csdnimg.cn/blog_migrate/1c0345038991d4d727ce11b40cad3421.png)
切root用户,根目录下输入make命令,生成很多点击文件
![](https://i-blog.csdnimg.cn/blog_migrate/3e13154f7148f626e5b47be3a0a153a2.png)
再make install安装 查看是否成功,看是否有目录:
![](https://i-blog.csdnimg.cn/blog_migrate/a2f27285faec2501606272f3c66ca6b6.png)
创建临时文件夹:
![](https://i-blog.csdnimg.cn/blog_migrate/f8e627441dc3b4e0173e3b3470a298a4.png)
进入/user/local/nginx/conf目录下,修改配置文件
![](https://i-blog.csdnimg.cn/blog_migrate/cf385c380b86642de9de7a6f20b9c6e5.png)
![](https://i-blog.csdnimg.cn/blog_migrate/89982d6e58ca3d0000f6504068a28dcd.png)
启动/usr/local/nginx:sbin/nginx 关闭:sbin/nginx -s quit
启动nginx再网页查看之前部署好的静态资源:
![](https://i-blog.csdnimg.cn/blog_migrate/08a4fae2f726744e1c66217e5d3aa884.png)
Logstach的使用方式
执行需要的配置文件(普通用户):
从控制台采集数据,将数据输出到控制台,编辑一个test.conf配置文件,添加内容:
![](https://i-blog.csdnimg.cn/blog_migrate/a55f186e9712a4eddd1ddc04693847e0.png)
简单测试(开两台,一台运行,一台发送并接收信息):
![](https://i-blog.csdnimg.cn/blog_migrate/32366b1249cb088caf40c1f92c37d20f.png)
![](https://i-blog.csdnimg.cn/blog_migrate/fde1a34eeb9831a3e1555f5002fefedc.png)
从es采集数据:启动es,再kibana
控制台:put mytest
![](https://i-blog.csdnimg.cn/blog_migrate/b67e6828fcda574be62c2a72b0b6dc25.png)
再GET _cat/indices查看索引库
![](https://i-blog.csdnimg.cn/blog_migrate/858f6dd556c14c0606191d443f5be242.png)
插入测试数据:
![](https://i-blog.csdnimg.cn/blog_migrate/23cbd20f7626b40f2bfba0e1b674fab2.png)
![](https://i-blog.csdnimg.cn/blog_migrate/79fed24ce3ceea907bbbc7e326e2969e.png)
修改logstach配置文件:
![](https://i-blog.csdnimg.cn/blog_migrate/24846cf641c4b9ca4638772b8f006e4e.png)
测试能否从es获取数据:
![](https://i-blog.csdnimg.cn/blog_migrate/b83526622f3d325701ce70396fff331b.png)
静态资源的日志获取
!!!注意!!!
日志文件:/var/log/nginx/
命令文件:/usr/local/nginx
将两个配置文件放入logstach下
![](https://i-blog.csdnimg.cn/blog_migrate/733f21998d9666546868b715a3ad4911.png)
移动这两个文件到相应目录下
![](https://i-blog.csdnimg.cn/blog_migrate/4983391e4587482fc328d9cc0e825e63.png)
修改nginx_logstash.conf配置文件:
![](https://i-blog.csdnimg.cn/blog_migrate/a49db940580bf8b6f3e09b4f973dbe87.png)
![](https://i-blog.csdnimg.cn/blog_migrate/21bdb42ad56cdd5871345192122bd6c9.png)
执行(nginx数据导入es):
![](https://i-blog.csdnimg.cn/blog_migrate/73041208666adf2023b53ce96e383175.png)
点击网页,显示:
![](https://i-blog.csdnimg.cn/blog_migrate/1e3272d0e6f34e7b887a9e363eeaa8ba.png)
![](https://i-blog.csdnimg.cn/blog_migrate/a1d13b38c2a31483105fa132061276ac.png)
查看点击后索引库生成的日志数据:
![](https://i-blog.csdnimg.cn/blog_migrate/6187c8a70fffc2d0f6ca4d2b4630aa2c.png)
查询索引库的信息(es的几种查询方式)
GET mytest/_search
PUT mytest
PUT mytest/_doc/1001
{
"name":"zhangsan",
"age":20
}
GET _cat/indices
#设置分片数
PUT logstash-nginx_access-2022.10.30/_settings
{
"number_of_replicas":2
}
#全局查询/全量查询/全查询
GET /logstash-nginx_access-2022.10.30/_search
{
"query": {
"match_all": {}},
"sort":[
{
"@timestamp":"desc"
}
]
}
#分页查询(起始编号的计算:(页码-1)*每页显示的条数)
GET /logstash-nginx_access-2022.10.30/_search
{
"query":{
"match_all":{
}
},
"from":3,
"size":2
}
#单条件查询("request":"bootstrap")
GET /logstash-nginx_access-2022.10.30/_search?q=request:bootstrap
{
"query":{
"match":{
"request":"bootstrap"
}
}
}
#多条件查询("request":"bootstrap"and "request":"js")
GET /logstash-nginx_access-2022.10.30/_search
{
"query":{
"bool":{
"must":[
{
"match":{
"request":"bootstrap"
}
},
{
"match":{
"request":"js"
}
}
]
}
}
}
#完全匹配查询("request":"markdown")
GET /logstash-nginx_access-2022.10.30/_search
{
"query":{
"match_phrase":{
"request":"markdown"
}
}
}
#范围查询("request":"bootstrap"or "response":200 “gte"是大于等于 )
GET /logstash-nginx_access-2022.10.30/_search
{
"query":{
"bool":{
"should":[
{
"match":{
"request":"bootstrap"
}
},
{
"match":{
"response":200
}
}
],
"filter":{
"range":{
"response":{
"gte":200
}
}
}
}
}
}
GET /logstash-nginx_access-2022.10.30/_search
{
"query": {
"bool": {
"must": [
{
"match": {
"request": "markdown"
}
}
],
"must_not": [
{
"range": {
"bytes": {
"gte": "400"
}
}
}
]
}
}
}
#模糊查询("request": "/css")
GET /logstash-nginx_access-2022.10.30/_search
{
"query": {
"fuzzy": {
"request": "/css"
}
}
}
#高亮查询("request":"markdown")
GET /logstash-nginx_access-2022.10.30/_search
{
"query":{
"match_phrase":{
"request":"markdown"
}
},
"highlight":{
"fields":{
"request":{}
},
"pre_tags":"<font color='red'>",
"post_tags":"</font>"
}
}
这个主要是自己的学习笔记,仅供参考哈
安装好了之后获取日志数据的采集主要是修改logstach的配置文件,再查看就行了。