lamp架构-memcache-nginx高速缓存机制、tomcat+memcache交叉存储、goaccess日志可视化

最新推荐文章于 2022-05-16 15:05:15 发布
最新推荐文章于 2022-05-16 15:05:15 发布
阅读量324 收藏
点赞数
分类专栏： 自动化运维企业实战 文章标签： nginx linux python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46490950/article/details/118427451
版权

amp架构--memcache-nginx高速缓存机制、tomcat+memcache结合jsp交叉存储

前言

前面的章节中我们使用源码编译安装了php，mysql.并与nginx结合使用!!

这篇文章主要讲解了：
nginx结合php中的memcache模块构建高效透明的缓存机制。
tomcat结合memcache进行session的交叉存储备份。
goaccess日志可视化。

一、nginx结合memcache高效缓存

nginx和php-fpm的传统缓存机制
在这里插入图片描述

nginx + memcache的高效缓存机制：
在这里插入图片描述
需要下载
memcache-4.0.5.2.tgz
openresty-1.19.3.1.tar.gz

vim .bash_profile	
PATH=$PATH:$HOME/bin:/usr/local/mysql/bin:/usr/local/php/bin/
source .bash_profile

在这里插入图片描述

php -m查看
在这里插入图片描述
下载好了memcache包之后，解开

tar zxf memcache-4.0.5.2.tgz
cd memcache-4.0.5.2/
phpize #php内置脚本安装memcache，生成cofigure

在这里插入图片描述
编译需要安装依赖性！

yum install -y autoconf
phpize

安装之后，configure出现！
在这里插入图片描述
然后开始源码编译三部曲：

./configure 
make
make install

完成：
在这里插入图片描述

vim /usr/local/php/etc/php.ini
extension=memcache

systemctl restart php-fpm.service
php -m |grep memcache

在这里插入图片描述安装完成：

在这里插入图片描述

cd memcache-4.0.5.2/
ls
cp example.php memcache.php /usr/local/nginx/html/
cd /usr/local/nginx/html/
ls

访问 172.25.1.1/example.php即可查看变化
在这里插入图片描述

vim memcache.php	
22 define('ADMIN_USERNAME','memcache');    // Admin Username
 23 define('ADMIN_PASSWORD','westos');      // Admin Password
注释掉29行 
28 $MEMCACHE_SERVERS[] = 'localhost:11211'; // add more as an array
29 #$MEMCACHE_SERVERS[] = 'mymemcache-server2:11211'; // add more as an array

yum install memcached -y
systemctl start memcached
netstat -antlp | grep 11211

在这里插入图片描述

在这里插入图片描述
访问172.25.1.1/memcache.php 输入用户名和密码(刚才设置的！)
在这里插入图片描述

二、构建nginx 的高速缓存

systemctl stop nginx.service
源码编译安装openresty
三部曲：但是这里需要gmake

tar zxf openresty-1.19.3.1.tar.gz
cd openresty-1.19.3.1/
./configure
gmake
gmake install

在这里插入图片描述

/usr/local/openresty/nginx/sbin/nginx -v #开启openresty里的nginx
/usr/local/openresty/nginx/sbin/nginx

拷贝默认发布目录

cd /usr/local/openresty/nginx/html/
cp /usr/local/nginx/html/*.php .

在这里插入图片描述

进行压力测试：
ab -c10 -n 1000 http://172.25.1.1/index.php
失败的次数74次,每秒处理请求1370次：在这里插入图片描述

修改配置文件
需要做三处修改

cd /usr/local/openresty/nginx/conf
vim nginx.conf #使其和之前nginx一样可以编译php

upstream memcache {
                server 127.0.0.1:11211;
                keepalive 512;          ##保持512个不立即关闭的连接用于提升性能
        }

location /memc {
        internal;                       #表示只接受内部访问
        memc_connect_timeout 100ms;
        memc_send_timeout 100ms;
        memc_read_timeout 100ms;
        set $memc_key $query_string;    #使用内置的$query_string来作为key
        set $memc_exptime 300;          #表示缓存失效时间
        memc_pass memcache;
        }

location ~ \.php$ {
            set $key $uri$args;
            srcache_fetch GET /memc $key;
            srcache_store PUT /memc $key; #看ppt解释
            root           html;
            fastcgi_pass   127.0.0.1:9000;
            fastcgi_index  index.php;
        #    fastcgi_param  SCRIPT_FILENAME  /scripts$fastcgi_script_name;
            include        fastcgi.conf;
        }

注：
修改之后，需要开启服务的：
这里记得进入openresty下的nginx目录中开启nginx要用**./nginx**
如果直接输入nginx是之前设置的全局变量/usr/local/nginx/sbin/nginx开启的服务
而不是openresty开启的nginx！！！
因为本人一开始一直没有找到错误原因，最后就是这个问题！！！

ps ax | grep nginx
如果有nginx的进程，先kill掉
cd /usr/local/openresty/nginx/sbin
./nginx -t
./nginx

在这里插入图片描述

然后再进行压力测试：
ab -c10 -n 1000 http://172.25.1.1/index.php
错误次数变为0，每秒处理次数也变为4770！！质的提升！！
在这里插入图片描述

三.tomcat+memcache结合jsp交叉存储

三台虚拟机
server1 配置反向代理和负载均衡
server2 server3交叉存储

需要软件及其版本：
jdk-8u121-linux-x64.rpm
apache-tomcat-7.0.37.tar.gz

对于server2停掉httpd服务！

systemctl stop httpd
yum install jdk-8u121-linux-x64.rpm -y #下载对应版本jdk

tar zxf apache-tomcat-8.5.24.tar.gz -C /usr/local/
cd /usr/local/
mv apache-tomcat-8.5.24/ tomcat #修改名称 方便操作
ls

在这里插入图片描述

在这里插入图片描述

cd tomcat/
ls
bin/startup.sh	开启tomcat脚本
netstat -antlp	查看8080端口已打开

在这里插入图片描述

8080端口已经开启：

在这里插入图片描述

cd webapps/ROOT/  #tomcat默认发布目录
ls
cp ~/test.jsp .	将测试文件拷贝过来

在这里插入图片描述

测试完成后将文件拷贝到server3
server3操作与server2相同
zai tomcat目录中开启tomcat
bin/startup.sh

在server1中：

vim nginx.conf
upstream tomcat {
        sticky; #静态锁定一个ip对应一个服务器，除非session被清除后才变化。
        server 172.25.4.2:8080;
        server 172.25.4.3:8080;
        }

location ~ \.jsp$ {
            proxy_pass   http://tomcat;
        }

在这里插入图片描述

在这里插入图片描述

nginx -t检测语法
会发现有报错，因为配置文件写了sticky，而本身在编译的时候没有加参数：
重新编译nginx
./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --add-module=/root/nginx-goodies-nginx-sticky-module-ng-08a395c66e42
因为没有nginx-goodies-nginx-sticky-module-ng-08a395c66e42也会报错！
所以下载 解压它！
在这里插入图片描述
继续编译，成功之后只做make,不make install!!!

再次 nginx -t
nginx -s reload

在这里插入图片描述
访问：http://172.25.1.1/test.jsp

在这里插入图片描述可以看到网页第一行server info 712.25.1.2

输入name和key,当客户端切换时，session也会随之消失
当把server2 shutdown之后
就会自动切换为server3：
server info 172.25.1.3：如下图所示：

在这里插入图片描述

刷新网页，数据就会丢失：
在这里插入图片描述

解决方法：

tomcat结合memcached 交叉存储session！

交叉存储

在真机上：拷贝/jar下面的所有文件到server3上

scp jar/* root@172.25.1.3:/usr/local/tomcat/lib/

在这里插入图片描述在server2,server3上操作如下：

bin/shutdown.sh	 #关闭tomcat
cd /usr/local/tomcat/

安装memcached

yum install -y memcached
systemctl start memcached.service  #端口11211
netstat -antlp	#查看端口

在这里插入图片描述接着配置文件

vim /usr/local/tomcat/conf/context.xml

server2中添加内容如下：

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:172.25.1.2:11211,n2:172.25.1.3:11211"
failoverNodes="n1" 
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>

在这里插入图片描述
server3中写入：

<Manager className="de.javakaffee.web.msm.MemcachedBackupSessionManager"
memcachedNodes="n1:172.25.1.2:11211,n2:172.25.1.3:11211"
failoverNodes="n2" 
requestUriIgnorePattern=".*\.(ico|png|gif|jpg|css|js)$"
transcoderFactoryClass="de.javakaffee.web.msm.serializer.kryo.KryoTranscoderFactory"
/>

然后重启server2,3

bin/shutdown.sh
bin/startup.sh

在这里插入图片描述
然后查看：
tail -f logs/catalina.out
看到这一行表示成功！
INFO: MemcachedSessionService finished initialization, sticky true, operation timeout 1000, with node ids [n2] and failover node ids [n1]

四.goaccess日志可视化

GoAccess 是什么?

GoAccess 是一款开源的且具有交互视图界面的实时 Web 日志分析工具，通过你的 Web 浏览器或者 *nix 系统下的终端程序(terminal)即可访问。能为系统管理员提供快速且有价值的 HTTP 统计，并以在线可视化服务器的方式呈现。

GoAccess的部署

下载：https://goaccess.io/download
解压：tar zxf goaccess-1.4.tar.gz
cd goaccess-1.4/

在这里插入图片描述
goaccess的配置：生成 Makefile，为下一步的编译做准备
查看配置选项列表：./configure --help

./configure --enable-utf8 --enable-geoip=legacy
##  --enable-utf8：宽字符支持。依赖 Ncursesw 模块。
 ##  --enable-geoip=legacy：地理位置支持。依赖 MaxMind GeoIP 模块，legacy 将使用原始 GeoIP 数据库。

在这里插入图片描述
会发现缺少某些依赖包！
那么如何去下载呢？
来到网站上面搜索下载：
在这里插入图片描述
找到了download的地址
在这里插入图片描述
网址就是这个：

http://mirror.centos.org/centos/7/os/x86_64/Packages/GeoIP-devel-1.5.0-14.el7.x86_64.rpm

直接wget下载：
在这里插入图片描述
rpm -ivh GeoIP-devel-1.5.0-14.el7.x86_64.rpm --nodeps
继续编译：
完成后，make , make install
查看goaccess命令的位置：which goaccess
在这里插入图片描述
生成一个新的html文件，把当前access.log日志中的内容实时的以html图表的形式展示出来

cd /usr/local/nginx/logs
ls
goaccess access.log -o /usr/local/nginx/html/report.html --log-format=COMBINED --real-time-html

在这里插入图片描述
网页访问：http://172.25.1.1/report.html
完成！！可以清晰直观的看到数据！
在这里插入图片描述

dudududu--
关注
专栏目录
LAMP架构
m0_59749940的博客
09-25 376
LAMP==Linux + Apache + Mysql + Python
saltstack之return与job管理
weixin_56129498的博客
07-08 684
1. SaltStack组件之return return组件可以理解为SaltStack系统对执行Minion返回后的数据进行存储或者返回给其他程序，它支持多种存储方式，比如用MySQL、MongoDB、Redis、Memcache等，通过return我们可以对SaltStack的每次操作进行记录，对以后日志审计提供了数据来源。目前官方已经支持30种return数据存储与接口，我们可以很方便的配置与使用它。当然也支持自己定义的return，自定义的return需由python来编写。在选择和配置好要使用的
memcached结合LAMP配置
【CSDN官方推荐】
11-22 197
memcached介绍 Memcached是一个自由开源的，高性能，分布式内存对象缓存系统。 Memcached是一种基于内存的key-value存储，用来存储小块的任意数据（字符串、对象）。 这些数据可以是数据库调用、API调用或者是页面渲染的结果。 我们一般会将数据库的查询结果缓存到memcached，让用户直接访问memcached的到查询结果，以此达到减少数据库访问的目的！ 也可以将web页面的渲染结果缓存到memcached上，这样可以很有效的提升动态web应用的速度！ 也可以将session保存
LNMP架构memcache+php缓存拓展和Openresty配置nginx前端缓存
qq_44251046的博客
04-30 556
实验环境：前面我们搭建好的LNMP架构 基于LNMP架构添加Memcached缓存 Memcached简介 memcached是一种缓存软件，以键值的形式缓存数据，支持缓存数据大大小为48kb到1Mb，memcached只是将缓存数据写在内存中，不会写入硬盘，同时，memcached缓存不可架设高可用，但是可以部署分布式memcached缓存服务器。而对于同样具有缓存功能的redis来说。redi...
memcached 安装日志
zhang_ly520的专栏
05-19 98
1、下载memcached-1.2.1.tar.gz和libevent-1.3b.tar.gz； 2、安装libevent tar xvfz  libevent-1.3b.tar.gz cd libevent-1.3b ./configure &amp;&amp; make make install 3、安装memcache tar xvfz  memcached-1.2.1.tar...
nginx---日志可视化、tomcat+memcache
m0_51140575的博客
04-10 123
goaccess 日志可视化 软件安装 [root@server1 ~]# tar zxf goaccess-1.4.tar.gz [root@server1 ~]# yum install GeoIP-devel-1.5.0-13.el7.x86_64.rpm [root@server1 ~]# cd goaccess-1.4/ [root@server1 ~]# ./configure --enable-utf8 --enable-geoip=legacy [root@server1 goacces
在linux上配置Memcached日志
chenzhou123520的专栏
08-15 405
memcache在linux上安装时并不支持显示地配置服务日志，我们如果想要把memcache服务日志保存到日志文件中，则需要在启动参数中进行配置。   安装好memcache后，我们可以通过-h命令查看memcached支持的参数： [chenzhou@localhost ~]$ /usr/local/memcached/bin/memcached -h #其余的省略 -v ...
企业运维实战lamp架构--memcache-nginx高速缓存机制、tomcat+memcache交叉存储、goaccess日志可视化
Rabbit_hyl的博客
06-26 293
企业运维实战lamp架构--memcache-nginx高速缓存机制、tomcat+memcache交叉存储、goaccess日志可视化前言一、nginx+memcache高效缓存机制二、tomcat+memcache交叉存储三、goaccess日志可视化 前言 在前面的章节中我们使用源码编译安装了php，并与nginx结合进行了简单使用。 本章主要学习内容： nginx结合php中的memcache模块构建高效透明的缓存机制。 tomcat结合memcache进行session的交叉存储备份。 goac
乱的笔记
热门推荐
weixin_34357962的博客
03-22 1万+
链接：https://pan.baidu.com/s/1jBlX2OoWALMaLuMkx21H7w 提取码：mzl4 复制这段内容后打开百度网盘手机App，操作更方便哦如果看的不舒服可以上百度网盘下载完整的 第二本书 一、Linux基本命令1．基础命令 vi /etc/sysconfig/network-scripts/ifcfg-ens32DNBBOT=NO改成DNBBOT=YES//...
简历例句
wuadmin的博客
06-07 498
简介 通用 有良好的代码风格，注重代码质量，通过学习 XXX，XXX 等多个开源项目的架构与源码，确保代码具备健壮性与扩展性。 具备良好的代码编程习惯及文档编写能力，参与 XXX，XXX 项目的核心部分代码编写，重构和维护。能进行技术攻关，突破关键技术瓶颈。 负责根据公司业务及目标引进人才、培养新人、规划团队人员、并建立完善的绩效考核制度有效留住人才，提高工作效率。 带领 10 人团队完成分布式系统的难点分析与架构设计工作，承担 XXX 等核心功能代码编写，开发与维护系统核心模块。使用 XXX 等
网络安全专业名词解释
aixmmmlll的博客
05-16 3923
1.Burp Suite 是一款信息安全从业人员必备的集成型的渗透测试工具，它采用自动测试和半自动测试的方式，通过拦截HTTP/HTTPS的Web数据包，充当浏览器和相关应用程序的中间人，进行拦截、修改、重放数据包进行测试，是Web安全人员的一把必备的瑞士军刀。 2.Bypass就是绕过的意思，渗透测试人员通过特殊语句的构建或者做混淆等进行渗透测试，然后达到绕过WAF的手法。 3.C2全称为Command and Control，命令与控制，常见于APT攻击场景中。作动词解释时理解为恶意软件与攻击者进行交互
php 查看memcache,怎样查看memcache的日志
weixin_32946543的博客
03-18 448
Redis和Memcache的区别总结linux 查看memcache服务 是否运行‘检查进程 ps -ef|grep memcached检查端口 默认使用11211端口 netstat -na|grep 11211php中memcache和memcached有什么区别PHP有两个memcache客户端：php memcache和php memcached。 memcache完全在PHP框架内开发...
数据库缓存之Memcache知识点
andu1644的博客
09-20 415
Memcache知识点总结： 一、Memcache安装及使用 参考地址：https://www.jb51.net/article/66525.htm 1.将下载的Memcache安装文件放到某盘下，如下： dos命令下运行命令进入该目录下： 2.Memcached参数说明： memcached -d start|stop|shutdo...
memcache 安装与简单使用
weixin_33670786的博客
01-29 71
一. mac  　　brew install memcached   二. win　　 　　win下安装memcached 　　telnet 连接 注意: telnet 127.0.0.1[空格,不是冒号]11211 三. Memcache 查看列出所有key方法   四.配置日志 参考链接 　　memcache服务日志保存到日志文件中，则需要在启动参数中进行配置。 　　通过-...
Docker-网络模式、自定义桥接、网段、手动指定IP、不同网段通信、容器通信、创建macvlan
qq_46490950的博客
07-22 4529
目录一.Docker网络1.桥接网络2.host网络模式3.none模式二.自定义网络1.创建自定义网桥2.自定义网段3.手动指定ip4.双网卡来实现不同网段间通信三.Docker容器通信1.内部访问外部2.外部访问内部3.原理 我们需要将前面的docker-compose仓库停掉 [root@server1 harbor]# docker-compose stop 一.Docker网络 docker的镜像是令人称道的地方，但网络功能还是相对薄弱的部分。 docker安装后会自动创建3种网络：bri
Kubernetes-Ingress服务、ingress部署、域名访问、加密认证、重定向
qq_46490950的博客
07-29 2954
目录:一.Ingress服务简介二.ingress部署三.域名访问+ingress-nginx1.编辑ingress.yaml2.编辑svc.yaml3.添加本地解析4.测试5.添加第二个域名6.编辑deployment.yaml7.测试： 一.Ingress服务简介 一种全局的、为了代理不同后端 Service 而设置的负载均衡服务，就是 Kubernetes 里的Ingress 服务。 Ingress由两部分组成：Ingress controller和Ingress服务。 Ingress Control
Docker-容器介绍与配置、镜像分层、部署nginx、优化镜像
qq_46490950的博客
07-20 1594
目录docker简介docker和虚拟机的区别：容器是如何工作的配置docker搭建docker仓库下载docker-ce测试镜像的分层文件导入镜像Dockerfile详解删除掉刚才建立的镜像镜像构建- -nginx docker简介 Docker是管理容器的引擎。 Docker为应用打包、部署平台，而非单纯的虚拟化技术 docker和虚拟机的区别： 容器是如何工作的 配置docker 搭建docker仓库 准备一台虚拟机server1： 配置软件仓库，从官网下载的仓库！ [root@server1 ~
Docker-三剑客之machine、compose、swam集群、visualizer监控、stack部署集群、Portainer可视化
qq_46490950的博客
07-25 1525
目录：介绍一.docker-machine1.machine安装2.使用docker-machine二.Docker-compose1.docker-compose配置2.修改haproxy配置文件三.docker swarm四.添加监控visualizer1.创建监控：2.实现业务滚动更新五.docker stack部署集群1.docker stack与docker-compose的区别2.编写脚本yml文件3.执行脚本4.脚本实现更新六.Portainer可视化部署Portainer 介绍 DOCKER
Apache + JK + Memcache + Nginx 分布式网站搭建实战指南
此外，为了实现session的持久化，笔记中还提到了使用memcached-session-manager库，包括一系列相关的jar文件，如kryo序列化库，以及spymemcached库，它们用于将session数据存储在Memcache中。这可以提高session的可...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

dudududu--

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值