Tengine

最新推荐文章于 2023-12-09 14:15:45 发布
最新推荐文章于 2023-12-09 14:15:45 发布
阅读量433 收藏
点赞数
分类专栏： 标准化 文章标签： nginx
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43046724/article/details/103498040
版权

官网地址：http://tengine.taobao.org/

版本记录：http://tengine.taobao.org/changelog_cn.html

下载链接：http://tengine.taobao.org/download_cn.html

一、基本环境说明

硬件配置

4核8G

系统版本

Centos6.8

Tengine版本

2.2.2

Keepalive版本

1.4.5

二、Tenginx目录结构

根目录

二级目录

二级目录说明

三级目录

三级目录说明

/usr/local/nginx/

certs

存放证书文件

 

 

 

conf

存放主配置文件

 

 

 

conf.d

虚拟主机配置

demo

示例配置文件

 

 

 

backconfig

配置文件备份

 

logs

存放日志文件

bak

日志文件备份

三、安装部署

安装依赖包：yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel gcc gcc-c++ autoconf automake jemalloc jemalloc-devel

配置：./configure --prefix=/usr/local/nginx --with-http_stub_status_module \ 
--with-http_ssl_module --with-http_gzip_static_module \ 
--with-http_concat_module --with-jemalloc \ 
--with-http_v2_module --with-http_secure_link_module \

--add-module=nginx_tcp_proxy_module-master

编译：make 
安装：make install

编译参数说明：
--prefix=/usr/local/nginx                   #指定安装路径
--with-http_stub_status_module      #获取nginx自上次启动以来的工作状态
--with-http_ssl_module                    #支持https请求，需已安装openssl
--with-http_gzip_static_module        #静态预压缩文件
--with-http_concat_module              #用于合并多个文件在一个响应报文中
--with-jemalloc                                 #Tengine链接jemalloc库，使用jemalloc来分配和释放内存
--with-http_v2_module                    #提供对HTTP/2的支持
--with-http_secure_link_module      #保护服务器文件不被任意下载盗用

--add-module=nginx_tcp_proxy_module-master #（待确认是否需要默认编译）

四、配置文件

1.主配置文件nginx.conf

nginx.conf

user nginx nginx;         

worker_processes  auto;     

worker_cpu_affinity auto;   

worker_rlimit_nofile 102400;

pid        logs/nginx.pid;  

 

events {

   use epoll;                

   worker_connections  65535;

   }

 

http {

    req_status_zone server "$server_addr:$server_port" 10M;

    include           mime.types;                          

    default_type      application/octet-stream;            

    sendfile          on; 

    tcp_nopush        on; 

    tcp_nodelay       on;

    server_tokens     off;

    server_info off;      

    keepalive_timeout 20s;   

    keepalive_requests 1000; 

    check_shm_size 40M;

 

    gzip              on;    

    gzip_min_length   1024;  

    gzip_buffers      16 8k; 

    gzip_comp_level   6;     

    gzip_proxied      any;   

    gzip_types        text/plain text/css application/x-javascript text/xml application/xml application/xml+rss text/javascript application/javascript;                             

    gzip_vary  on;          

 

    # 以下配置用于php环境

    fastcgi_intercept_errors    on;   

    fastcgi_connect_timeout     75s;  

    fastcgi_send_timeout        300s; 

    fastcgi_read_timeout        300s; 

    fastcgi_buffer_size         16k;  

    fastcgi_buffers             4 16k;                                        

    fastcgi_busy_buffers_size   32k;  

 

    client_body_timeout         90s;       

    client_max_body_size        20m;       

    client_body_buffer_size     1m;        

    client_header_buffer_size   128k;      

    large_client_header_buffers 256 16k;   

 

    proxy_buffer_size 16k;                 

    proxy_buffers 8 32k;                   

    proxy_busy_buffers_size 64k;           

    proxy_connect_timeout 300s;            

    proxy_send_timeout 300s;               

    proxy_read_timeout 300s;               

      

    map $upstream_addr $short_address {

        ~^\d+\.\d+\.(.*) '';

    }

    add_header X-from $short_address$1;

 

    proxy_set_header Host $host;

    proxy_set_header X-User-IP  $clientRealIp;

    proxy_set_header X-Real-IP  $remote_addr;

    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;

    proxy_pass_header User-Agent;

    proxy_set_header  X-Forwarded-Proto $scheme;

     

     map $http_x_forwarded_for  $clientRealIp {

       ""      $remote_addr;

       ~^(?P<firstAddr>[0-9\.]+),?.*$  $firstAddr;

     }

 

     log_format main  '{ "@timestamp": "$time_iso8601", '

                         '"remote_addr": "$remote_addr", '

                         '"upstream_addr": "$upstream_addr", '

                         '"server_addr": "$server_addr", '

                         '"http_host": "$http_host",'

                         '"request_time": $request_time, '

                         '"request_uri": "$request_uri", '

                         '"status": "$status", '

                         '"request": "$request", '

                         '"request_method": "$request_method", '

                         '"http_referer": "$http_referer", '

                         '"body_bytes_sent": $body_bytes_sent, '

                         '"http_x_forwarded_for": "$http_x_forwarded_for", '

                         '"request_length": $request_length, '

                         '"http_user_agent": "$http_user_agent", '

                         '"scheme": "$scheme",'

                         '"uri": "$uri",'

                         '"clientRealIp": "$clientRealIp"}';

 

    include /usr/local/nginx/conf.d/*.conf;

}


2.监控配置文件admin.conf

admin.conf

server {

        listen 8000;

        location ~ ^/(phpfpm_status|ping)$ {

                fastcgi_pass   127.0.0.1:9000;

                include fastcgi.conf;

        }

        location = /nginx_status {

                stub_status on;

                access_log off;

        }

        location = /nginx_status_detail {

                req_status_show;

        }

}


3.安全防护配置文件defend.conf

defend.conf

#禁止IP直接访问 （必需）

server { 

        listen 80 default; 

        server_name _;

        return 403; 

}

server {

        listen 443 default;

        server_name _;

        #域名和证书对应

        ssl_certificate      /usr/local/nginx/certs/cardniu.crt;

        ssl_certificate_key  /usr/local/nginx/certs/cardniu.key;

        return 403;

}

#防止DDOS、CC攻击 （按实际情况添加）

map $http_x_forwarded_for $clientRealIp {

        "" $remote_addr;

        ~^(?P<firstAddr>[0-9\.]+),?.*$ $firstAddr;

}

 

geo $clientRealIp $whiteiplist {

        default 1;

        172.22.23.241 1;

        172.22.23.251 0;

        192.168.31.236 0;

        172.22.25.0/24 0;

}

 

map $whiteiplist $limit {

        1 $clientRealIp;

        0 "";

}

 

limit_conn_zone $limit zone=TotalConnLimitZone:20m ;

limit_conn TotalConnLimitZone 50;

limit_conn_log_level notice;

 

limit_req_zone $limit zone=ConnLimitZone:20m rate=20r/s;

limit_req zone=ConnLimitZone burst=10 nodelay;

limit_req_log_level notice;

 

4.其他说明

  （1）配置文件命名

         文件目录：/usr/local/nginx/conf.d/
         命名规则：<域名>.conf

  （2）upstream命名

          命名规则：二级域名+映射，二级域名+资源类型
          示例：test_order，test_product（二级域名+映射）
                     test_static（静态资源）
                     test_server（后端服务）

五、脚本

1.日志切割脚本

脚本存放目录：/home/ops/nginx_daily_log.sh
定时任务：59 23 * * * /bin/sh /home/ops/nginx_daily_log.sh > /dev/null 2>&1

nginx_daily_log.sh

# /bin/bash

 

logs_path="/usr/local/nginx/logs/"

pid_path="/usr/local/nginx/logs/nginx.pid"

cut_path="/usr/local/nginx/logs/bak/"

 

[ -e $cut_path ] || mkdir -p $cut_path

cd $logs_path

for log_name in `ls *.log`;do

        mv ${logs_path}${log_name} ${cut_path}${log_name}_$(date  +"%Y-%m-%d").log

done

if [[ -s $pid_path ]]; then

        kill -USR1 `cat ${pid_path}`

fi

find  ${cut_path} -type f -name "*.log" -mtime +7 | xargs rm -f

 

2.服务化脚本

脚本存放目录：/etc/init.d/nginx

nginx

#!/bin/bash

#

# nginx - this script starts and stops the nginx daemon

#

# chkconfig: - 85 15

# description: Nginx is an HTTP(S) server, HTTP(S) reverse

# proxy and IMAP/POP3 proxy server

# processname: nginx

# config: /etc/nginx/nginx.conf

# config: /etc/sysconfig/nginx

# pidfile: /var/run/nginx.pid

 

# Source function library.

. /etc/rc.d/init.d/functions

 

# Source networking configuration.

. /etc/sysconfig/network

 

# Check that networking is up.

[ "$NETWORKING" = "no" ] && exit 0

 

TENGINE_HOME="/usr/local/nginx"

nginx="/usr/local/nginx/sbin/nginx"

prog=$(basename $nginx)

 

NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"

 

[ -f /etc/sysconfig/nginx ] && /etc/sysconfig/nginx

 

lockfile=/var/lock/subsys/nginx

 

start() {

    [ -x $nginx ] || exit 5

    [ -f $NGINX_CONF_FILE ] || exit 6

    echo -n $"Starting $prog: "

    daemon $nginx -c $NGINX_CONF_FILE

    retval=$?

    echo

    [ $retval -eq 0 ] && touch $lockfile

    return $retval

}

 

stop() {

    echo -n $"Stopping $prog: "

    killproc $prog -QUIT

    retval=$?

    echo

    [ $retval -eq 0 ] && rm -f $lockfile

    return $retval

    killall -9 nginx

}

 

restart() {

    configtest || return $?

    stop

    sleep 1

    start

}

 

reload() {

    configtest || return $?

    echo -n $"Reloading $prog: "

    killproc $nginx -HUP

    RETVAL=$?

    echo

}

 

force_reload() {

    restart

}

 

configtest() {

    $nginx -t -c $NGINX_CONF_FILE

}

 

rh_status() {

    status $prog

}

 

rh_status_q() {

    rh_status >/dev/null 2>&1

}

 

case "$1" in

start)

    rh_status_q && exit 0

    $1

;;

stop)

    rh_status_q || exit 0

    $1

;;

restart|configtest)

    $1

;;

reload)

    rh_status_q || exit 7

        $1

;;

force-reload)

    force_reload

;;

status)

    rh_status

;;

condrestart|try-restart)

    rh_status_q || exit 0

;;

*)

 

echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"

exit 2

esac

 

六、高可用Keepalive

详见《https://blog.csdn.net/weixin_43046724/article/details/91127026》

七、常用命令

1.Keepalive常用命令

service keepalived stop
service keepalived status
service keepalived start

2.Tenignx常用命令

/usr/local/nginx/sbin/nginx -t
/usr/local/nginx/sbin/nginx -s reload
service nginx stop
service nginx status
service nginx start

八、版本升级

升级脚本

update_tenginx2.2.2.sh

#!/bin/bash

 

OLD_VERSION=2.2.0

NEW_VERSION=2.2.2

 

check=`/usr/local/nginx/sbin/nginx -v 2>&1|grep ${NEW_VERSION}`

 

if [ "$check" ];then

    echo "nginx Already is ${NEW_VERSION}."

    exit 0

fi

 

yum -y install zlib zlib-devel openssl openssl-devel pcre pcre-devel gcc gcc-c++ autoconf automake jemalloc jemalloc-devel patch || exit 0

 

cd /usr/local/src/tengine_update

tar -zxf tengine-${NEW_VERSION}.tar.gz

cp -r nginx_tcp_proxy_module-master tengine-${NEW_VERSION}

cd tengine-${NEW_VERSION}

 

/usr/bin/patch -p1 < nginx_tcp_proxy_module-master/tcp.patch

./configure --prefix=/usr/local/nginx --with-http_stub_status_module --with-http_ssl_module --with-http_gzip_static_module --with-http_concat_module --with-jemalloc --with-http_v2_module --with-http_secure_link_module --add-module=nginx_tcp_proxy_module-master &> /dev/null

if [ $? -ne 0 ];then

        exit 0

fi

make &> /dev/null

cp -af /usr/local/nginx/sbin/nginx /usr/local/nginx/sbin/nginx.${OLD_VERSION}

cp -af /usr/local/nginx/sbin/dso_tool /usr/local/nginx/sbin/dso_tool.${OLD_VERSION}

\cp -af objs/nginx /usr/local/nginx/sbin

chmod 755 objs/dso_tool

\cp -af objs/dso_tool /usr/local/nginx/sbin

make upgrade

/usr/local/nginx/sbin/nginx -v

 

#rollback nginx

#rm -f /usr/local/nginx/sbin/nginx && mv /usr/local/nginx/sbin/nginx.${OLD_VERSION} /usr/local/nginx/sbin/nginx

#/usr/local/nginx/sbin/nginx -s restart

salt脚本

update.sls

nginx_updated:

  file.recurse:

    - name: /usr/local/src/tengine_update

    - source: salt://nginx/files/tengine_update

    - file_mode: 644

    - dir_mode: 755

    - user: root

    - group: root

    - mkdir: True

#    - unless: test -d /usr/local/src/tengine_update

 

  cmd.run:

    - name: cd /usr/local/src/tengine_update && /bin/bash update_tenginx2.2.2.sh && mv /usr/local/src/tengine_update /usr/local/src/tengine_update_$(date  +"%Y-%m-%d-%H-%S")

目录文件

 

九、获取用户源IP

一、Tegine处理逻辑：

1.如果存在remote_addr，则将remote_addr传给变量clientRealIp；

2.如果不存在remote_addr，则取x_forwarded_for第一个地址传给变量clientRealIp；

3.将变量clientRealIp添加到HTTP头，程序读取HTTP头获取用户IP；（目前定义的字段名为X-User-IP）

具体在Tegine主配置文件nginx.conf 进行添加（红色字体）：

    proxy_set_header Host $host;
    proxy_set_header X-User-IP  $clientRealIp;
    proxy_set_header X-Real-IP  $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass_header User-Agent;
    proxy_set_header  X-Forwarded-Proto $scheme;
     
     map $http_x_forwarded_for  $clientRealIp {
       ""      $remote_addr;
       ~^(?P<firstAddr>[0-9\.]+),?.*$  $firstAddr;
     }

二、通过CDN的访问：用户通过CDN访问的要想获取源IP信息必须先将CDN配置字段修改为：“X-Forwarded-For”.

 以网宿CDN为例，默认字段为“Cdn-Src-Ip” ,须登录CDN后台将默认字段修改为X-Forwarded-For，如下图：

 

大河院开心鸭
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
TEngine
03-31
TEngine 是一个基于 C++ 开发的开源软件框架，主要用于构建和优化服务器端的应用程序。在深入探讨 TEngine 的知识点之前，我们先了解一下这个项目的背景和目标。TEngine 主要面向那些希望提升服务性能、降低资源消耗...
Nginx配置文件解析
weixin_46686835的博客
07-22 2275
Nginx配置文件 main区域全局变量 worker_processes 1 #最大的线程数，可以设置为auto，自动获取最大线程 worker_cpu_affinity 0001 0010 0100 1000 #四核CPU，线程优化可以设置为auto events { worker_connections 1024; #单核CPU设置最大的线程数 use epoll #清除无效的进程，连接有效的进程 } http区域 http { include mim
nginx 自定义http header
weixin_34050427的博客
07-31 127
用NGINX做负载，但后端有N多服务器，请求过去不知道到哪台服务器，为了便于定位问题，我们自定义http header加入后端服务器，先看下配置upstreambackend{ server172.29.88.226:8080weight=1; server172.29.88.227:8080weight=1; sticky;} ##CustomHeader...
Nginx动态添加模块
weixin_34018169的博客
10-30 68
1、首先查看现在已经编译的模块 /usr/local/nginx/sbin/nginx -V2、下载需要编译的模块 wgethttps://github.com/yaoweibin/nginx_tcp_proxy_module/archive/master.zip 新模块：--add-module=/data/package/nginx_tcp_proxy_...
Nginx（Tengine） 解决 unknown directive “stream“ 问题
叨叨软件测试
06-27 1万+
背景 Nginx（Tengine） 代理 Bitbucket 的 tcp 端口时报错：unknown directive “stream”， 记录下~ 解决 编译时，通过添加 --with-stream参数来安装 stream 模块。 需要手工加载 ngx_stream_module.so 模块。 # 操作系统信息 $ uname -a Linux oa2 3.10.0-1160.31.1.el7.x86_64 #1 SMP Thu Jun 10 13:32:12 UTC 2021 x86_64 x86
Tengine for windows
最新发布
05-22
Tengine web server for windows ，兼容nginx Tengine 使用cygwin编译适用于windows x64，编译了健康检查模块，health check check interval=3000 rise=2 fall=2 timeout=1000 type=http; check_...
tengine2.1.2
03-05
Tengine是淘宝团队基于Nginx开发的一款高性能的Web服务器/反向代理服务器，它包含了Nginx的所有功能，并在性能、稳定性和功能扩展性上进行了优化。标题提到的"Tengine2.1.2"是该软件的一个特定版本，这个版本包含了...
tengine-2.3.2 for windows full modules
09-17
Tengine是一款基于Nginx的高性能Web服务器和反向代理服务器，由淘宝网发起并维护。这个名为“tengine-2.3.2 for windows full modules”的版本是专为Windows平台设计的，它包含了所有可用的模块，这使得它能够支持更...
Tengine（tengine-2.3.3.tar.gz）
03-31
Tengine是一款基于Nginx核心并扩展了许多功能的开源Web服务器。它的设计目的是为了更好地服务于大型网站和高并发环境，提供了更高的性能、稳定性和一系列针对中国互联网环境优化的特性。Tengine是由淘宝网发起的开源...
Tengine安装使用及配置
qiang928的博客
12-09 2193
Tengine是由淘宝发起的Web服务器项目。它在Nginx的基础上，针对大访问量网站的需求，添加了很多高级功能和特性。Tengine的性能和稳定性已经在大型的网站如淘宝，天猫，优酷，全球速卖通，Lazada，阿里云等得到了很好的检验 --- 这是官方原话。
处理tengine缓存大小问题处理
str0708的博客
11-13 1465
 使用淘宝的tengine nginx出现以下问题 [crit] 32468#0: ngx_slab_alloc() failed: no memory [emerg] 32468#0: http upstream check_shm_size is too small, you should specify a larger size. 主要原因是检查后端服务器健康检查状态配置太多，导致缓...
Tengine简介和安装使用方法
lxl09004109的专栏
05-31 2483
Tengine是淘宝开发的基于nginx的应用服务器，反向代理服务器。它兼容nginx的所有配置，并且在其上增加了很多实用的功能，例如动态模块加载，集成lua语言进行扩展等，在性能方面有了比较大的改进。下面是Tengine独有的部分功能，查看全部等前往官网，地址是http://tengine.taobao.org/。 一、Tengine部分特性 1.nginx -m 查看所有已经加载的模块...
Tengine 简介及安装
chuizhan2334的博客
04-25 271
近期公司需要做nginx 相关的调优及二级开发，最终技术选型Tengine，相信很多朋友对它还比较陌生，这里我们先简单介绍一下Tengine。 官网地址：http://tengine.taobao.org/ GitHub ：http...
Tengine新增nginx upstream模块的使用
weixin_33781606的博客
01-11 688
Tengine是淘宝在Nginx基础之上的二次开发版，Tengine完全兼容Nginx，因此可以参照Nginx的方式来配置Tengine。但Tengine提供了很多比较实用的特性，以及性能的优化。比如针对upstream模块，Tengine再次开发的一些小模块，下面说明一下。后端长连接超时功能ngx_http_upstream_keepalive_module模块增加nginx后端长连接的超时支持...
通过nginx 动态加载stream模块
热门推荐
lihao19910921的专栏
08-21 2万+
Ngix1.9.11开始增加加载动态模块支持，从此不再需要替换nginx文件即可增加第三方扩展。目前官方只有几个模块支持动态加载，第三方模块需要升级支持才可编译成模块。 我们测试下通过nginx动态加载模块，添加stream模块实现tcp 反向代理功能。 查看支持 ./configure --help | grep dynamic --with-http_xslt_module=...
详解Nginx服务器中map模块的配置与使用
飞翔的熊blabla
07-12 7341
~/fz(/.*) /index.php?; } [warning]不能在map块里面引用命名捕获或位置捕获变量。如~^/ttlsa_com/(.*)  /boy/$1; 这样会报错nginx: [emerg] unknown  variable。[/warning]如果源变量值包含特殊字符如‘~'，则要以‘\'来转义。map $http_re...
多级代理下Nginx获取真实用户IP地址的总结
03-20 1万+
声明：本文参考http://www.ttlsa.com/nginx/nginx-get-user-real-ip/并做了一些补充讲解，希望会更加清晰明了~ 随着nginx的迅速崛起，越来越多公司将apache更换成nginx. 同时也越来越多人使用nginx作为负载均衡, 并且代理前面可能还加上了CDN加速，但是随之也遇到一个问题：nginx如何获取用户的真实IP地址,如果后端是
tengine windows
09-12
Tengine Windows是Tengine Web服务器的一个版本，它是专门为在Windows操作系统上运行而设计的。Tengine是一款由阿里巴巴开发的高性能Web服务器，以Nginx为基础，经过定制和优化，提供了更高的性能和可靠性。 Tengine Windows继承了Tengine的高性能特点，并且对Windows操作系统做了适配。它可以在Windows Server和Windows桌面操作系统上运行，为用户提供快速、稳定的Web服务。 与传统的Windows Web服务器相比，Tengine Windows具有以下优势： 首先，Tengine Windows采用了事件驱动的架构，能够更高效地处理大量的并发请求。它使用了I/O多路复用技术，可以将多个请求同时处理，提高了系统的资源利用率和吞吐量。 其次，Tengine Windows支持高性能的反向代理功能。通过反向代理，它可以将请求转发给内部的Web服务器，实现负载均衡和高可用性。 此外，Tengine Windows还提供了灵活的配置选项，可以根据用户的需求进行定制。用户可以通过配置文件来设置服务器的行为，包括虚拟主机、代理设置和缓存策略等。 总的来说，Tengine Windows是一个强大而稳定的Web服务器，它为Windows用户提供了高性能和可靠性的Web服务。无论是小型网站还是大型的企业级应用，Tengine Windows都可以满足用户的需求，并提供出色的性能表现。它是Windows操作系统上的一个值得信赖的选择。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值