Docker-compose-consul部署Ningx+Tomcat+ELK分析Nginx访问日志

最新推荐文章于 2022-06-29 16:28:07 发布
最新推荐文章于 2022-06-29 16:28:07 发布
阅读量658 收藏 2
点赞数
文章标签： nginx linux tomcat docker-compose consul
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Ryu_hayabusa/article/details/117777216
版权

Docker-compose-consul部署Ningx+Tomcat+ELK分析Nginx访问日志

一、Docker-compose部署Tomcat

192.168.117.30

1. 安装compose

yum install docker-ce -y

cp -p docker-compose /usr/local/bin/
chmod +x /usr/local/bin/docker-compose
mkdir -p /root/compose_tomcat/tomcat

在这里插入图片描述

2. 编写Dockerfile文件

cd /root/compose_tomcat/tomcat

vim Dockerfile
FROM centos:7
ADD apache-tomcat-8.5.16.tar.gz /usr/local
ADD jdk-8u91-linux-x64.tar.gz /usr/local

WORKDIR /usr/local
RUN mv jdk1.8.0_91 /usr/local/java
ENV JAVA_HOME /usr/local/java/
ENV JAVA_BIN /usr/local/java/bin
ENV JRE_HOME /usr/local/java/jre
ENV PATH $PATH:/usr/local/java/bin:/usr/local/java/jre/bin
ENV CLASSPATH /usr/local/java/jre/bin:/usr/local/java/lib:/usr/local/java/jre/lib/charsets.jar
RUN mv apache-tomcat-8.5.16 /usr/local/tomcat
EXPOSE 8080
ENTRYPOINT ["/usr/local/tomcat/bin/catalina.sh","run"]

在这里插入图片描述
在这里插入图片描述

3. 编写dockers-compose.yml文件

cd /root/compose_tomcat
vim docker-compose.yml

version: '3'
services:
 tomcat1:
    hostname: tomcat1
    build:
      context: ./tomcat
      dockerfile: Dockerfile
    ports:
      - 81:8080
    networks:
      - cluster
    volumes:
      - ./wwwroot1:/usr/local/tomcat/webapps/ROOT/
 tomcat2:
    hostname: tomcat2
    build:
      context: ./tomcat
      dockerfile: Dockerfile
    ports:
      - 82:8080
    networks:
      - cluster
     volumes:
      - ./wwwroot2:/usr/local/tomcat/webapps/ROOT/

networks:
  cluster:

在这里插入图片描述

4. 执行yml文件创建容器

docker-compose -f docker-compose.yml up -d

在这里插入图片描述

二、配置consul自动同步

consul：192.168.117.40

1. 部署consul服务器

mkdir /root/consul
cd /root/consul

#放入安装包
unzip consul_0.9.2_linux_amd64.zip
mv consul /usr/bin

consul agent \
-server \			#服务端
-bootstrap \		#前端框架
-ui \				#可被访问的web界面
-data-dir=/var/lib/consul-data \		#consul数据目录
-bind=192.168.117.40 \		#本地地址
-client=0.0.0.0 \			#表示所有
-node=consul-server01 &> /var/log/consul.log &		# &后台运行

consul agent \
-server \
-bootstrap \
-ui \
-data-dir=/var/log/consul-data \
-bind=192.168.117.40 \
-client=0.0.0.0 \
-node=consul-server01 &> /var/log/consul.log &

在这里插入图片描述
在这里插入图片描述

2. 配置容器服务自动加入consul集群

192.168.117.30

  • 安装Gliderlabs/registrator
docker run -d \
--name=registrator \
--net=host \
-v /var/run/docker.sock:/tmp/docker.sock \
--restart=always \
gliderlabs/registrator:latest \
-ip=192.168.117.30 \
consul://192.168.117.40:8500

在这里插入图片描述
consul：192.168.117.40

  • 验证
curl 127.0.0.1:8500/v1/catalog/services

在这里插入图片描述

  • 浏览器访问：192.168.117.40:8500

在这里插入图片描述

3. 配置consul-template实现自动更新配置文件

consul：192.168.117.40

unzip consul-template_0.19.3_linux_amd64.zip
mv consul-template /usr/bin/

vim /root/consul/nginx.ctmpl

upstream http_backend {					#配置地址池名称
  {{range service "tomcat"}}				#指定服务范围
  server {{.Address}}:{{.Port}};		#读取服务节点地址端口 server ip port
  {{end}}								#以end结尾
}

server {				
  listen 81;			#指定监听的consul地址81或者88
  server_name localhost 192.168.117.40;				#反向代理服务器的地址
  access_log /var/log/nginx/nginx01-access.log;		#访问日志类型
  index index.html index.php;
  location / {
  proxy_set_header HOST $host;					#记录访问的头部信息
  proxy_set_header X-Real-IP $remote_addr;		#记录客户端访问真实地址
  proxy_set_header Client-IP $remote_addr;
  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;		#转发客户端地址
  proxy_pass http://http_backend;
  }
}


upstream http_backend {
  {{range service "tomcat"}}
  server {{.Address}}:{{.Port}};
  {{end}}
}

server {
  listen 81;
  server_name localhost 192.168.117.40;	
  access_log /var/log/nginx/nginx01-access.log;
  index index.html index.php;
  location / {
  proxy_set_header HOST $host;
  proxy_set_header X-Real-IP $remote_addr;
  proxy_set_header Client-IP $remote_addr;
  proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
  proxy_pass http://http_backend;
  }
}

在这里插入图片描述
在这里插入图片描述

4. 编译安装nginx

consul：192.168.117.40

yum install -y gcc pcre-devel zlib-devel
cd /opt
tar zxvf nginx-1.12.0.tar.gz
cd nginx-1.12.0/
./configure --prefix=/usr/local/nginx
make && make install

vim /usr/local/nginx/conf/nginx.conf
http {
  include    mime.types;
  include vhost/*.conf;  	#添加虚拟主机目录（子配置文件）		
  default_type application/octet-stream;

#创建虚拟主机目录
mkdir /usr/local/nginx/conf/vhost
#创建日志文件目录
mkdir /var/log/nginx

#启动nginx
/usr/local/nginx/sbin/nginx

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

5. 启动template

consul-template -consul-addr 192.168.117.40:8500 \
#指定consul集群的serverip端口
-template "/root/consul/nginx.ctmpl:/usr/local/nginx/conf/vhost/ng.conf:/usr/local/nginx/sbin/nginx -s reload" \
#将反向代理服务器的nginx配置文件关联模板文件并重载
--log-level=info

在这里插入图片描述
在这里插入图片描述

  • 浏览器访问：192.168.117.40:81

在这里插入图片描述
在这里插入图片描述

三、部署ELK收集Ningx访问日志

1. 安装并启用elasticsearch服务

192.168.117.30

echo '192.168.117.30 node1' >> /etc/hosts

#拖入软件包
cd /opt
rpm -ivh elasticsearch-5.5.0.rpm

systemctl daemon-reload
systemctl enable elasticsearch.service

在这里插入图片描述

  • 环境配置
cp /etc/elasticsearch/elasticsearch.yml /etc/elasticsearch/elasticsearch.yml.bak
vim /etc/elasticsearch/elasticsearch.yml
#17行
cluster.name: my-elk-cluster
#23行
node.name: node1						
#33行
path.data: /data/elk_data 
#37行
path.logs: /var/log/elasticsearch/
#43行
bootstrap.memory_lock: false 
#55行
network.host: 0.0.0.0
#59行
http.port: 9200
#68行
discovery.zen.ping.unicast.hosts: ["node1"]

grep -v "^#" /etc/elasticsearch/elasticsearch.yml

mkdir -p /data/elk_data
chown elasticsearch:elasticsearch /data/elk_data/

systemctl start elasticsearch
netstat -antp |grep 9200

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • Elasticsearch-head插件安装
yum -y install gcc gcc-c++ make
#上传软件包 node-v8.2.1.tar.gz 到/opt
cd /opt
tar xzvf node-v8.2.1.tar.gz
cd node-v8.2.1/
./configure && make && make install

cd /opt
tar jxvf phantomjs-2.1.1-linux-x86_64.tar.bz2 -C /usr/local/src/
cd /usr/local/src/phantomjs-2.1.1-linux-x86_64/bin
cp phantomjs /usr/local/bin

cd /opt
tar zxvf elasticsearch-head.tar.gz -C /usr/local/src/
cd /usr/local/src/elasticsearch-head/
npm install

vim /etc/elasticsearch/elasticsearch.yml
#-------末尾，添加以下内容--------
http.cors.enabled: true
http.cors.allow-origin: "*"

systemctl restart elasticsearch.service

#必须在解压后的 elasticsearch-head 目录下启动服务，进程会读取该目录下的 gruntfile.js 文件，否则可能启动失败。
cd /usr/local/src/elasticsearch-head/
npm run start &

在这里插入图片描述

  • 浏览器访问：192.168.117.30:9100

在这里插入图片描述

2. logstash安装

consul：192.168.117.40

yum install -y java 

#上传logstash-5.5.1.rpm到/opt目录下
cd /opt
rpm -ivh logstash-5.5.1.rpm
systemctl start logstash.service
systemctl enable logstash.service
#建立logstash软连接
ln -s /usr/share/logstash/bin/logstash /usr/local/bin/

在这里插入图片描述

  • Apache作对接配置
vim /etc/logstash/conf.d/nginx.conf
input {
       file{
        path => "/var/log/nginx/nginx01-access.log"
        type => "nginx"
        start_position => "beginning"
        }
      }
output {
        elasticsearch {
          hosts => ["192.168.117.30:9200"]
          index => "nginx-%{+YYYY.MM.dd}"
          }
        }
        
systemctl restart logstash.service

在这里插入图片描述

3. kibana安装

#上传kibana-5.5.1-x86_64.rpm 到/opt目录
cd /opt
rpm -ivh kibana-5.5.1-x86_64.rpm
cd /etc/kibana/
cp kibana.yml kibana.yml.bak

vim kibana.yml
#2行；取消注释；kibana打开的端口（默认5601）
server.port: 5601
#7行；取消注释，修改；kibana侦听的地址
server.host: "0.0.0.0"
#21行；取消注释，修改；和elasticsearch建立联系
elasticsearch.url: "http://192.168.117.30:9200"
#30行;取消注释；在elasticsearch中添加.kibana索引
kibana.index: ".kibana"              				

systemctl start kibana.service 
systemctl enable kibana.service

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

  • 浏览器访问：192.168.117.40:5601

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Ryu_hayabusa
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 6
    评论
Consul注册tomcat服务健康状态报错：HTTP GET http://node-3:8090/actuator/health: 404 Output:
qq_35008624的博客
12-18 1960
记一次Consul注册tomcat中项目健康检查错误： HTTP GET http://node-3:8090/actuator/health: 404 Output: <!doctype ht 以上的错误是因为tomcat部署后访问你的时候需要添加项目名，而健康检查的时候请求路径中没有项目名，导致报错404, 解决方案： 设置tomcat配置文件server.xml，在Hos...
springcloud 2.1.0RELEASE 通过Tomcat启动，无法注册consul服务问题
qq_24842293的博客
11-29 1887
通过Tomcat启动不会注册consul服务问题： spring cloud 2.1 consul 注册是通过监听WebServerInitializedEvent事件，通过tomcat容器启动服务时监听不到WebServerInitializedEvent事件，Consul无法注册服务，可以加入下面代码：   @Component public class CustomizedEventL...
Docker（七）---consul 容器服务发现与更新
白雪滑落树梢
12-08 442
文章目录前言一、简介1.概述2.consul的两种模式3.consul提供的一些关键特性总结 前言 服务注册与发现是微服务架构中不可或缺的重要组件。起初服务都是单节点的，不保障高可用性，也不考虑服务的压力承载，服务之间调用单纯的通过接口访问。直到后来出现了多个节点的分布式架构，起初的解决手段是在服务前端负载均衡，这样前端必须要知道所有后端服务的网络位置，并配置在配置文件中。这里就会有几个问题： ● 如果需要调用后端服务A-N，就需要配置N个服务的网络位置，配置很麻烦 ● 后端服务的网络位置变化，都需要
docker logstash_Docker搭建ELK日志系统分析Nginx日志
weixin_39966163的博客
11-20 165
框架介绍Nginx 日志流:组件分布结构应用服务器 : nginx + filebeat ELK服务器 : redis + logstash + elasticsearch + kibana相关组件版本 CentOS-7-x86_64-Everything-1810 nginx:1.16.0 filebeat:6.4.0 ELK:6.4.0 redis:4.0.14ELK安装步骤设置inner-m...
Linux-Nginx网站服务配置
Ryu_hayabusa的博客
03-30 799
Linux-LNMP架构安装论坛一、编译安装Nginx服务1. 关闭防火墙、拖入并解压安装包2. 安装依赖包3. 创建运行用户、组4. 编译安装Nginx5. 检查、启动、重启、停止 nginx服务6. 添加Nginx系统服务二、Nginx服务的主配置文件1. 全局配置2. I/O 事件配置3. HTTP配置4. 浏览器进行访问5. 日志格式设定三、访问状态统计配置1. 查看已安装的Nginx是否包含http_stub_status模块2. 指定访问位置并添加stub_status配置3. 重启服务，访问测
docker-compose php7.3.4-fpm+nginx+mysql配置
09-07
docker-compose php7.3.4-fpm+nginx+mysql配置
docker-compose-ha-consul-vault-ui:HA Consul + Vault + Vault UI的docker-compose示例
05-09
consul-template会更新dnsmasq配置，并在配置更改后重新启动dnsmasq（例如，即时增加consul群集的大小）。 这使领事DNS查找HA。 保管箱通过通过Consul DNS公开的服务发现进行注册。 只要正常关闭集群，数据就会在...
docker-compose-flask：docker-compose部署nginx + gunicorn + flask + redis（或db）
02-05
码头工人组成烧瓶 +-------------+ +------------+ +--------------+ +-----------+ | | | | | | | | | nginx +-------+ gunicorn +---------+ flask app +-----+ redis | | | | | |
基于docker-compose实现haproxy+keepalived+teleport的负载均衡和高可用1
08-04
主机名IP地址操作系统组件备注环境说明架构图目录结构配置文件docker-compose配置文件keepalived配置文件keepalived检测脚本hapr
linux + docker-compose 部署 jar + dist 案例
03-08
linux + docker-compose 部署 jar + dist 案例
consul-cluster_docker-compose:通过docker-compose的Consul集群开发环境
05-08
consul-cluster_docker-compose 概述 1-组件 基础Debian：挤压 主管流程管理 领事代理 用于沙箱的Debian Squeeze Base映像 易于定制 与Attached Shell一起使用更易于调试 入门 1-建立图像 docker build -t < YOUR> --file=Dockerfile . 2-更新docker-compose文件 docker-compose.yml 资料更新： 图片：您刚刚制作的图片的名称； 端口：每个实例的映射（以避免主机上的端口冲突） 环境： CONSUL_OPTS （传递给consul agent定义） 您要增加多少成员 谁可以加入其他成员 您还需要其他什么选择 $ cat docker-compose.yml --- consul1 : image : sandbox/con
Redis（主从复制、哨兵模式、集群）部署
Ryu_hayabusa的博客
05-07 385
Redis（主从复制、哨兵模式、集群）部署一、Redis主从复制部署1. 实验环境2. 安装Redis3. 修改Redis配置文件4. 验证二、Redis哨兵模式部署1. 实验环境2. 修改Reids配置文件3. 启动哨兵模式4. 故障模拟5. 验证三、Redis集群部署1. 实验环境2. 所有节点3. Master1节点4. 其它节点5. 所有节点 一、Redis主从复制部署 1. 实验环境 主机 操作系统 主机IP 软件包 Master CentOS7 192.168.117.10 re
Docker——Compose搭建consul集群
F2001523的博客
03-15 739
文章目录前言一、Docker Compose简介1.什么是Docker Compose?2.YAML语言3.使用Docker Compose的三个步骤二、Docker Compose配置字段与命令1.Docker Compose配置常用字段2.Docker Compose常用命令3.Cocker Compose命令参数三、Docker编排Nginx四、Consul容器自动更新与发现1.Consul简介2.Consul的特点3.容器服务更新与发现拓扑图4.consul集群部署4.1 安装 consul-tem
Docker——compose部署及搭建consul群集
weixin_50344843的博客
03-20 405
compose搭建consul群集Docker Compose概述Docker Compose容器编排Docker Compose配置常用字段Docker Compose常用命令Docker Compose命令说明基本格式及常用选项Docker Compose部署使用dockerfile创建nginx Docker Compose概述 Docker Compose的前身是Fig。它是一个定义及运行多个（批量部署）Docker容器的工具 使用Docker Compose不再需要使用Shell脚本来启动容器
一文带你学会 consul 基本使用和 Docker 部署
l688899886的博客
06-29 680
复制代码 复制代码不指定 tag 就拉取 last，当前版本是 1.5.2 复制代码 复制代码-join：这个表示启动的时候，要加入到哪个集群内，这里就是说要加入到节点 1 的集群 -node-id：这个貌似版本 8 才加入的，这里用这个来指定唯一的节点 ID，可以查看这个 issue -client：这个表示注册或者查询等一系列客户端对它操作的 IP，如果不指定这个 IP，默认是 127.0.0.1。 复制代码 复制代码4 个节点都列出来了。Status 表示它们的状态，都是 aliv
使用 golang 调用consul api 接口，注册user-tomcat服务
勇往直前的专栏
07-10 7391
1，关于consul dubbo的注册中心是zookeeper，redis。  motan的注册中心是zookeeper，consul。  kubernetes的注册中心是 etcd。  使用consul的好处是服务发现啥的都支持了。  可以使用域名进行负载均衡。  也是一个不错的 Server-Side Discovery Pattern 。 2，启动consul服务，调用接口 首先要...
基于GRPC+consul通信的服务化框架
热门推荐
小牛的成长史
05-21 2万+
讲诉了服务化框架背景，介绍，原理，实现。
consul 日志配置_consul配置与实战
weixin_36293915的博客
12-23 1726
上一篇提到，项目用的分布式服务发现与注册组件是consul，这篇文章主要来讲下consul组件在项目中的应用以及相关介绍。本文以官方文档为主要参考consul文档。1. consul介绍consul是一个服务管理软件，主要功能如下：支持多数据中心下，分布式高可用的，服务发现和配置共享。consul支持健康检查，允许存储键值对。一致性协议采用Raft算法,用来保证服务的高可用。成员管理和消息广播采用...
微服务consul系列错误日志
小白的博客
10-24 3748
1. 【Mac-dashen:~ student11$ consul agent -dev -ui -client 0.0.0.0 】启动错误 ==> Error starting agent: Failed to start Consul server: Failed to start RPC layer: listen tcp 127.0.0.1:8300: bind: address...
docker-compose nginx+mysql+php+node
最新发布
09-20
要在docker-compose中同时运行nginx、mysql、php和node，您可以按照以下步骤进行操作： 1. 创建一个docker-compose.yml文件并打开它。 2. 在文件中添加以下内容： ``` version: '3' services: nginx: container_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 6
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值