系统构成:
Centos8 由于选择yum安装,所以尽量将空间分配给根目录,home保留一部分存放软件包的空间即可
nginx 1.14.1 (必须安装stream_module)
squid 4.4
关闭了firewalld
关闭了selinux
一,Nginx
1.1安装
centos8里面的版本不是特别旧,就直接使用yum安装了
yum install -y nginx
yum安装的好处是,自动安装关联软件,自动进行一些基础配置
log,config文件都在系统默认的位置
######1.2配置
开头不用修改
# For more information on configuration, see:
# * Official English Documentation: http://nginx.org/en/docs/
# * Official Russian Documentation: http://nginx.org/ru/docs/
user nginx;
worker_processes auto;
error_log /var/log/nginx/error.log;
pid /run/nginx.pid;
# Load dynamic modules. See /usr/share/doc/nginx/README.dynamic.
include /usr/share/nginx/modules/*.conf;
events {
worker_connections 1024;
}
接下来添加steam模块,负责tcp转发功能,进而实现负载平衡
关于log的模板,可以选择记入log的变量很有限,参考以下资料
Module ngx_stream_core_module:Embedded Variables
http://nginx.org/en/docs/stream/ngx_stream_core_module.html
在这里没有找到代表访问URL的log参数,所以,如果需要访问记录的话,只能在squid的access.log中查看
stream {
## TCP 代理日志格式定义
log_format tcp_proxy '$remote_addr [$time_local] '
'$protocol $status $bytes_sent $bytes_received '
'$session_time "$upstream_addr" '
'"$upstream_bytes_sent" "$upstream_bytes_received" "$upstream_connect_time"';
## TCP 代理日志配置
access_log /var/log/nginx/tcp-access.log tcp_proxy;
open_log_file_cache off;
#定义backend服务器集,名字为stream_backend
#backend.squid.host:port是squid服务器的ip和端口
#如果使用127.0.0.1的话,并且squid做了acl访问控制,需要允许127.0.0.1的访问
#按照squid的文档说明,localhost已经预置到软件中,但是及时allow了localhost,不知道为什么没有生效,就没有继续研究
upstream stream_backend {
server backend1.squid.host:port1;
server backend2.squid.host:port2;
server backend3.squid.host:port3;
server backend4.squid.host:port4;
# ...
}
## TCP 代理配置
server {
listen 80;#监听本机地址和端口,当使用keeplived的情况下使用keeplived VIP
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_protocol on;#开启了proxy_protocol,如果不开启后端squid接收的访问记录都是来自于nginx的ip地址,无法进行访问跟踪
proxy_pass stream_backend; #这里填写对端的地址,负载平衡的话就填写upstream的名字
}
}
剩下的http server部分,应该可以删除
但是为了测试nginx是否启动,选择了保留
upstream部分:
选择使用默认的轮询方式进行负载均衡。除了这个还有以下集中方式。
1.自定义权重的轮询模式
server backend1.example.com:12345 weight=5;
2.哈希计算模式
指定一个key来进行哈斯计算,计算的结果用来选择backend服务器
hash $remote_addr;
还有很多,详细参考官网文档
http://nginx.org/en/docs/stream/ngx_stream_upstream_module.html
1.3相关命令
systemctl enable nginx.service 加入开机启动
nginx 启动
nginx -s stop — fast shutdown
nginx -s quit — graceful shutdown
nginx -s reload — reloading the configuration file
nginx -s reopen — reopening the log files
1.4访问控制
nginx也可以进行访问控制,但是比较麻烦,只能一个一个添加到conf文件中
server {
...
deny 192.168.1.1;
allow 192.168.1.0/24;
allow 10.1.1.0/16;
allow 2001:0db8::/32;
deny all;
}
过于频繁的修改conf文件,很容易出现误操作,修改了别的参数,进而造成nginx故障,所以决定在squid中进行访问控制
这就需要nginx可以向squid提供客户端真实的ip地址
所以开始proxy_protocol
同时也需要squid开启接收proxy_protocol的选项
二,Squid
2.1安装
yum的squid版本是4.4,为了方便就使用yum安装了
yum install -y squid
2.2配置
配置的比较乱,很多配置在4.0以上版本的squid中已经是默认选项了,因为叫不准,就又写出来了。。。。
加大了cache memory
cache_mem 4096 MB
reload_into_ims on
cache_swap_low 90
cache_swap_high 95
定义允许访问squid的IP的对象
acl localnet src "/etc/squid/permitip.ws"
定义一些需要过滤的东西的对象
acl banned_s0 dstdomain "/etc/squid/banned.ws"
acl banned_files urlpath_regex -i /sex
acl permitip src "/etc/squid/permitip.ws"
acl Banned_UserAgent browser "/etc/squid/banned_ug.ws"#针对userAgent的对象
允许localnet通过proxy_protocol访问squid
proxy_protocol_access allow localnet
允许或者拒绝其他对象
http_access deny banned_files
http_access deny banned_s0
http_access deny Banned_UserAgent
# Deny requests to certain unsafe ports
http_access deny !Safe_ports
# Deny CONNECT to other than secure SSL ports
http_access deny CONNECT !SSL_ports
# Only allow cachemgr access from localhost
http_access allow localhost manager
http_access deny manager
# We strongly recommend the following be uncommented to protect innocent
# web applications running on the proxy server who think the only
# one who can access services on "localhost" is a local user
#http_access deny to_localhost
#
# INSERT YOUR OWN RULE(S) HERE TO ALLOW ACCESS FROM YOUR CLIENTS
#
# Example rule allowing access from your local networks.
# Adapt localnet in the ACL section to list your (internal) IP networks
# from where browsing should be allowed
http_access allow localnet
http_access allow localhost
http_access allow permitip
# And finally deny all other access to this proxy
http_access deny all
icp_access allow all
# Squid normally listens to port 3128
#http_port localhost:400$
icp_port 0 #把icp关了,不取cache
下面这些都没改
logfile_rotate 8
#always_direct deny all
#never_direct allow all
cache_mgr root
cache_effective_user squid
cache_effective_group squid
visible_hostname proxy
hostname_aliases proxy
这里是关键
启动4个squid进程,然后为了修改时尽量少改动主配置文件
添加了backend.conf这个配置文件
需要include到主config文件中
workers 4
include /etc/squid/backend.conf
以下是backend.conf的内容
#给squid加了一个上级代理
cache_peer 上层代理的IP parent 代理端口 ICP端口 login=用户名:密码 no-query default
# each backend must listen on a unique port
# without this the CARP algorithm would be useless
# 重点来了,为了显示客户端真实的ip,nginx和squid启用了proxy_protocol进行数据传递,这里就必须要加上require-proxy-header
# ${process_number}是将使用的处理器编号作为端口的一部分,进而来区分不同的squid实例,之前的主文件中定义了 [workers 4],所以会出现四个squid进程
http_port 0.0.0.0:400${process_number} require-proxy-header
# a 10 GB cache of small (up to 32KB) objects accessible by any backend worker
cache_dir rock /var/squid/cache/cacheRock 10240 max-size=32768
# NP: for now AUFS does not support SMP but the CARP algorithm helps reduce object duplications
# a 10 GB cache of large (over 32KB) objects per-worker
cache_dir aufs /var/squid/cache/cache${process_number} 10240 128 128 min-size=32769
# the default maximum cached object size is a bit small
# you want the backend to be able to cache some fairly large objects
maximum_object_size 512 MB
# you want the backend to have a small cache_mem
cache_mem 4 MB
# the backends require a different name to frontends, but can share one
# this prevents forwarding loops between backends while allowing
# frontend to forward via the backend
visible_hostname backend${process_number}.example.com
# change /var/log/squid to your own log directory
# 这里顶一个log的格式,名字叫做combined,默认的logformat显示的时间太恶心了,忘了是什么时间了,反正不是人看的时间
logformat combined %>a %ui %un [%tl] "%rm %ru HTTP/%rv" %Hs %<st "%{Referer}>h" "%{User-Agent}>h" %Ss:%
Sh %{host}>h
# 注释掉的部分,是原来的log,根据process的不同,分开记录的
# 在调试的时候可以清除的看到,是不是访问被分配给每一个process上的squid了,调试完成后,就可以将所有log合并显示了
#access_log /var/log/squid/backend${process_number}.access.log combined
#cache_log /var/log/squid/backend${process_number}.cache.log
access_log /var/log/squid/1.access.log combined
cache_log /var/log/squid/2.cache.log combined
# add just enough access permissions to allow the frontend
http_access allow localhost
#always_direct deny all 这句加上就会有问题,等有时间再看看为什么
# 下面这句是将所有request都送到父代理中,不允许自己转发,当父代理失效的时候,这个子代理也无法正常访问网页
never_direct allow all
三,后记
Squid的问题
1,初始化你在 squid.conf 里配置的 cache 目录
#/usr/local/squid/sbin/squid -z //初始化缓存空间
如果有错误提示,请检查你的 cache目录的权限。
2,对你的squid.conf 排错,即验证 squid.conf 的 语法和配置。
#/usr/local/squid/sbin/squid -k parse
如果squid.conf 有语法或配置错误,这里会返回提示你,如果没有返回,恭喜,可以尝试启动squid。
3,在前台启动squid,并输出启动过程。
#/usr/local/squid/sbin/squid -N -d1
如果有到 ready to server reques,恭喜,启动成功。
然后 ctrl + c,停止squid,并以后台运行的方式启动它。
4,启动squid在后台运行。
#/usr/local/squid/sbin/squid -s
这时候可以 ps -A 来查看系统进程,可以看到俩个 squid 进程。
5,停止 squid
#/usr/local/squid/sbin/squid -k shutdown
————————————————
版权声明:本文为CSDN博主「乌托帮主」的原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接及本声明。
原文链接:https://blog.csdn.net/zhaozhanyong/article/details/6337928
squid在shutdown之后,可能需要一些时间才能完全停止,注意查看ps -e
Nginx
stream模块的话没有办法使用proxy_set_header和realip这些东西,不知道为什么官方文档在解释realip使用时,要把stream和http两个模块放在一起讲,以后再研究吧