saltstack 之源码部署管理nginx

最新推荐文章于 2024-09-16 09:36:19 发布
最新推荐文章于 2024-09-16 09:36:19 发布
阅读量108 收藏
点赞数
文章标签： 运维 git python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_33918114/article/details/85081188
版权

      saltstack接触也有一段时间了，感觉saltstack强大之处在于state文件部署，通过他可以给我们大批量部署节省很多时间，今天就用部署我前端的转发服务器为例进行源码部署nginx；水平有限希望大家多多指导。

      思路：

             1、用grains收集cpu、打开文件数等信息结合jinja配置nginx.conf文件

             2、使用pillar保存我们要使用的变量结合jinja配置vhost.conf文件

             3、state安装推送文件

部署步骤：

     1、编写grains，根据系统打开文件数配置合理的nginx打开文件数量：

[root@mail nginx]# cd /srv/salt/_grains/
[root@mail _grains]# cat nginx_config.py 
import os,sys,commands        
def NginxGrains():  
    grains ={}  
    max_open_file=65536  
        #Worker_info={'cpus2':'01 10','cpus4':'1000 0100 0010 0001','cpus8':'10000000 01000000 00100000 00010000 00001000 00000100 00000010 00000001'}  
    try:
        getulimit=commands.getstatusoutput('source /etc/profile;ulimit -n')   
    except Exception,e:
        pass
    if getulimit[0]==0:  
        max_open_file=int(getulimit[1])  
    grains['max_open_file'] = max_open_file  
    return grains 
if __name__ == '__main__':
    print NginxGrains() 
  推送文件到客户端并启动文件重启客户端生效：
  salt '*' saltutil.sync_all
  salt '*' sys.reload_modules

     2、编写变量之pillar，这里我定义了域名和后端转发主机：

[root@mail pillar]# cat top.sls 
base:
  '*':  
     - vhost
[root@mail pillar]# cat vhost.sls 
hostname: www.huasuan.com
pass: 192.168.10.100

     3、编写state所有文件，先查看目录选项：

[root@mail salt]# tree nginx
nginx
├── conf.sls
├── files
│?? ├── nginx
│?? ├── nginx-1.6.0.tar.gz
│?? ├── nginx.conf
│?? └── huasuan.conf
├── init.sls
├── install.sls
├── server.sls
└── vhost.sls

注释：init.sls指定启用哪个入口选项，install.sls指定安装步骤，server.sls表示管理服务脚本,
conf.sls指定管理配置文件nginx.conf，vhost.sls 指定管理vhost.sls目录下的虚拟主机。

     4、查看top文件和init文件：

[root@mail nginx]# cat install.sls
[root@mail salt]# cat top.sls 
base:
  '*':
    - nginx
[root@mail salt]# cat nginx/init.sls 
include:
  - nginx.install
  - nginx.conf
  - nginx.server
  - nginx.vhost

     5、安装install,sls文件:

#nginx.tar.gz
nginx_source:
  file.managed:
    - name: /tmp/nginx-1.6.0.tar.gz
    - unless: test -e /tmp/nginx-1.6.0.tar.gz
    - source: salt://nginx/files/nginx-1.6.0.tar.gz
#extract
extract_nginx:
  cmd.run:
    - cwd: /tmp
    - names:
      - tar zxvf nginx-1.6.0.tar.gz
    - unless: test -d /tmp/nginx-1.6.0
    - require:
      - file: nginx_source
#user
nginx_user:
  user.present:
    - name: nginx
    - uid: 1501
    - createhome: False
    - gid_from_name: True
    - shell: /sbin/nologin
#nginx_pkgs
nginx_pkg:
  pkg.installed:
    - pkgs:
      - gcc
      - openssl-devel
      - pcre-devel
      - zlib-devel
#nginx_compile
nginx_compile:
  cmd.run:
    - cwd: /tmp/nginx-1.6.0
    - names:
      - ./configure --prefix=/usr/local/nginx  --user=nginx  --group=nginx  --with-http_ssl_module  --with-http_gzip_static_module --http-client-body-temp-path=/usr/local/nginx/client/ --http-proxy-temp-path=/usr/local/nginx/proxy/   --http-fastcgi-temp-path=/usr/local/nginx/fcgi/   --with-poll_module  --with-file-aio  --with-http_realip_module  --with-http_addition_module --with-http_random_index_module   --with-pcre   --with-http_stub_status_module
      - make
      - make install
    - require:
      - cmd: extract_nginx
      - pkg:  nginx_pkg
    - unless: test -d /usr/local/nginx
#cache_dir
cache_dir:
  cmd.run:
    - names:
      - mkdir -p /usr/local/nginx/{client,proxy,fcgi} && chown -R nginx.nginx /usr/local/nginx/
      - mkdir -p /usr/local/nginx/conf/vhost && chown -R nginx.nginx /usr/local/nginx/conf/vhost 
    - unless: test -d /usr/local/nginx/client/
    - require:
      - cmd: nginx_compile
      
注释：nginx使用源码编译安装的方式，包括了文件包推送，解压、安装管理，主要核心是cmd的使用

    6、管理配置文件conf.sls:

[root@mail nginx]# cat conf.sls 
include:
  - nginx.install  
   
nginx_service:  
  file.managed:
    - name: /usr/local/nginx/conf/nginx.conf
    - user: nginx
    - mode: 644
    - source: salt://nginx/files/nginx.conf
    - template: jinja
  service.running:   
    - name: nginx
    - enable: True
    - reload: True 
    - watch:
      - file: /usr/local/nginx/conf/nginx.conf

     7、服务脚本启动文件管理server.sls:

[root@mail nginx]# cat server.sls 
include:
  - nginx.install
server:   
  file.managed:
    - name: /etc/init.d/nginx
    - user: root
    - mode: 755
    - source: salt://nginx/files/nginx
  service.running:    
    - name: nginx
    - enable: True
    - reload: True
    - watch:
      - file: /etc/init.d/nginx
command:
  cmd.run:
    - names:
      - /sbin/chkconfig --add nginx
      - /sbin/chkconfig  nginx on 
    - unless: /sbin/chkconfig --list nginx

     8、虚拟主机管理配置文件：vhost.sls

[root@mail nginx]# cat vhost.sls 
include:
  - nginx.install  
   
vhostconfig:  
  file.managed:
    - name: /usr/local/nginx/conf/vhost/huasuan.conf
    - user: root
    - mode: 644
    - source: salt://nginx/files/huasuan.conf
    - template: jinja
  service.running:   
    - name: nginx
    - enable: True
    - reload: True
    - watch:
      - file: /usr/local/nginx/conf/vhost/huasuan.conf

上面几个分别是把已经保存在files目录下的配置文件推送到客户端，都是使用jinja模板为了使用系统的grains和pillar变量：

     9、分别查看以下几个配置文件nginx.conf：

# For more information on configuration, see:  
user              nginx;  
worker_processes  {{ grains['num_cpus'] }};  
{% if grains['num_cpus'] == 2 %}  
worker_cpu_affinity 01 10;  
{% elif grains['num_cpus'] == 4 %}  
worker_cpu_affinity 1000 0100 0010 0001;  
{% elif grains['num_cpus'] >= 8 %}  
worker_cpu_affinity 00000001 00000010 00000100 00001000 00010000 00100000 01000000 10000000;  
{% else %}  
worker_cpu_affinity 1000 0100 0010 0001;  
{% endif %}  
worker_rlimit_nofile {{ grains['max_open_file'] }};  
      
error_log  /var/log/nginx/error.log;  
#error_log  /var/log/nginx/error.log  notice;  
#error_log  /var/log/nginx/error.log  info;  
      
pid        /var/run/nginx.pid;  
      
events {  
        worker_connections  {{ grains['max_open_file'] }};  
 }  
      
http
     {
              include       mime.types;
              default_type  application/octet-stream;
              charset  utf-8;
              server_names_hash_bucket_size 128;
              client_header_buffer_size 32k;
              large_client_header_buffers 4 32k;
              client_max_body_size 128m;
              sendfile on;
              tcp_nopush     on;
              keepalive_timeout 60;
              tcp_nodelay on;
              server_tokens off;
              client_body_buffer_size  512k;
              gzip on;
              gzip_min_length  1k;
              gzip_buffers     4 16k;
              gzip_http_version 1.1;
              gzip_comp_level 2;
              gzip_types      text/plain application/x-javascript text/css application/xml;
              gzip_vary on;
              log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                                '$status $body_bytes_sent "$http_referer" '
                                '"$http_user_agent" "$http_x_forwarded_for" "$host"' ;
              include vhost/*.conf;
       }
       
注释：grains['max_open_file']这个变量由我们第一个创建的自定义grains收集到服务端，基于jinja
来返回客户端

     10、虚拟主机配置文件vhost:

[root@mail files]# cat huasuan.conf 
server {
        listen 80;
        server_name {{ pillar['hostname'] }};
        location / {
                proxy_pass http://{{ pillar['pass'] }};
                proxy_set_header Host $host;
                proxy_set_header X-Real-IP $remote_addr;
                proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        }
        location ~ /\.git {
           deny all;
        } 
}
注释：pillar['hostname']和pillar['pass']由上面我们定义的pillar基于jinja获得，这里用反向代
理服务器为例

     10、服务启动脚本，没什么特别；就是放上去服务器端同步到客户端启动目录下：

[root@mail files]# cat nginx
#!/bin/sh
#
# nginx - this script starts and stops the nginx daemon
#
# chkconfig:   - 85 15 
# description:  Nginx is an HTTP(S) server, HTTP(S) reverse \
#               proxy and IMAP/POP3 proxy server
# processname: nginx
# config:      /usr/local/nginx/conf/nginx.conf
# pidfile:     /usr/local/nginx/logs/nginx.pid
 
# Source function library.
. /etc/rc.d/init.d/functions
 
# Source networking configuration.
. /etc/sysconfig/network
 
# Check that networking is up.
[ "$NETWORKING" = "no" ] && exit 0
 
nginx="/usr/local/nginx/sbin/nginx"
prog=$(basename $nginx)
 
NGINX_CONF_FILE="/usr/local/nginx/conf/nginx.conf"
 
 
lockfile=/var/lock/subsys/nginx
 
make_dirs() {
   # make required directories
   user=`$nginx -V 2>&1 | grep "configure arguments:" | sed 's/[^*]*--user=\([^ ]*\).*/\1/g' -`
   if [ -z "`grep $user /etc/passwd`" ]; then
       useradd -M -s /bin/nologin $user
   fi
   options=`$nginx -V 2>&1 | grep 'configure arguments:'`
   for opt in $options; do
       if [ `echo $opt | grep '.*-temp-path'` ]; then
           value=`echo $opt | cut -d "=" -f 2`
           if [ ! -d "$value" ]; then
               # echo "creating" $value
               mkdir -p $value && chown -R $user $value
           fi
       fi
   done
}
 
start() {
    [ -x $nginx ] || exit 5
    [ -f $NGINX_CONF_FILE ] || exit 6
    make_dirs
    echo -n $"Starting $prog: "
    daemon $nginx -c $NGINX_CONF_FILE
    retval=$?
    echo
    [ $retval -eq 0 ] && touch $lockfile
    return $retval
}
 
stop() {
    echo -n $"Stopping $prog: "
    killproc $prog -QUIT
    retval=$?
    echo
    [ $retval -eq 0 ] && rm -f $lockfile
    return $retval
}
 
restart() {
    configtest || return $?
    stop
    sleep 1
    start
}
 
reload() {
    configtest || return $?
    echo -n $"Reloading $prog: "
    killproc $nginx -HUP
    RETVAL=$?
    echo
}
 
force_reload() {
    restart
}
 
configtest() {
  $nginx -t -c $NGINX_CONF_FILE
}
 
rh_status() {
    status $prog
}
 
rh_status_q() {
    rh_status >/dev/null 2>&1
}
 
case "$1" in
    start)
        rh_status_q && exit 0
        $1
        ;;
    stop)
        rh_status_q || exit 0
        $1
        ;;
    restart|configtest)
        $1
        ;;
    reload)
        rh_status_q || exit 7
        $1
        ;;
    force-reload)
        force_reload
        ;;
    status)
        rh_status
        ;;
    condrestart|try-restart)
        rh_status_q || exit 0
            ;;
    *)
        echo $"Usage: $0 {start|stop|status|restart|condrestart|try-restart|reload|force-reload|configtest}"
        exit 2
esac

     11、配置完成：启动服务器开始安装操作：

  启动操作：
[root@mail salt]# salt 'monitor' state.highstate

     12、查看结果：

  wKioL1Zru9zzNo9oAAAVGo3sbTA245.png

    查看客户端文件配置文件看到已经生效，我客户端是4核所以给的worker_processer是4：

wKioL1ZrvDGSCHgOAAAt0C63qro430.png

     并且已经启动了nginx服务：

wKiom1ZrvKqSr-zZAAAQbpVJDes692.png


     到此全部的安装部署流程已经走完，用saltstack我们发现有再多的机器很快也能按照我们需求对系统来快速部署。

weixin_33918114
关注
saltstack自动化运维----使用saltstack自动化部署源码编译nginx和自动化部署haproxy(4)
Chen的博客
11-28 354
一、前言 在之前对于nginx的学习中，源码编译nginx需要输入的命令较多，而且也比较麻烦，今天我们将saltsack工具来将它进行自动化源码编译，其实ansible和saltsack两者的作用一样，只是每个公司所使用的的工具不一样。两个工具都是基于python语言的，所以将两个都学习一下。 二、使用源码编译nginx 在源码编译当然需要nginx的压缩包，在网上可以找到，由于我们也是做实验，所...
Saltstack自动化源码编译安装Nginx
Lockey23的博客
10-14 1302
Saltstack自动化源码编译安装Nginx
saltstack 自动化部署 nginx（源码编译）
Buster_ZR的博客
08-20 346
通过 saltstack 进行nginx源码的自动化部署 实验拓扑 节点名称 IP 职能 server1 172.25.21.1 salt-server server3 172.25.21.3 salt-minion，nginx服务器 各个节点的基本配置不再进行详细描述，详见我的博客 Saltstack 自动化管理工具 在serv...
saltstack：源码编译安装nginx，一键部署负载均衡
gd0306的博客
05-15 340
源码编译安装nginx 1、在master端 mkdir /srv/salt/nginx/files -p 将nginx的源码包放入files目录 编写源码编译安装脚本： cd /srv/salt/nginx vim install.sls nginx-install: # 安装源码编译nginx所需要的依赖 pkg.installed: - pkgs: - gcc ...
saltstack源码-启动1
weixin_34237596的博客
09-24 97
决定看salt的源码了.干脆就从最基本的看起来,先看它的启动过程开始第一步用/etc/init.d/salt-master start 启动找到那个文件,发现有3种启动方式,suse,debian,centos的启动方式各不一样,我测试机和线上环境都是centos的,所以直接就看Centos的 ...... PYTHON=/usr/bin/python SALTMASTER=/usr/b...
saltstack源码安装
weixin_34351321的博客
03-04 152
环境准备：centos6.3，python2.7.5。autoconf版本在2.63以上，不然安装libzmq的时候会报错1.installlibzmq-master$gitclonegit://github.com/zeromq/libzmq.git$cdlibzmq $./autogen.sh $./configure#addotherop...
SaltStack 批量部署 Nginx服务
leon.yan的博客
11-12 2055
资源配置 操作系统 配置 主机名/IP CentOS7.9 2C2G master.saltstack.com/172.16.10.10 CentOS7.9 2C2G web01saltstack.com/172.16.10.11 CentOS7.9 2C2G web02.saltstack.com/172.16.10.2 1.1 基础环境 1.1.1 关闭防火墙 systemctl stop firewalld systemctl..
SaltStack自动化运维——YAML语法、SaltStack部署httpd服务、SaltStack源码安装nginx
ranrancc_的博客
11-28 335
文章目录一、YAML语法1、缩进2、冒号3、短横杠 一、YAML语法 默认的SLS文件的renderer是YAML renderer。 YAML是一个有很多强大特性的标记性语言。 Salt使用了一个YAML的小型子集，映射非常常用的数据结构，像列表和字典。YAML renderer的工作是将YAML数据格式的结构编译成为Python数据结构给Salt使用。 1、缩进 YAML使用固定的缩进表示数据...
SaltStack之Pillar和Jinja部署LVS+Keepalived+Haproxy源码（srv.tar.gz）
10-17
本资源包含本人用SaltStack之Pillar和Jinja实现一健部署LVS+Keepalived+Haproxy的源码（srv.tar.gz），本人测试通过，有需要的可以下载下来学习。具体可参考本人博客：http://t.cn/ROB68fc 资源内容： ├── pillar...
saltstack自动化部署apache服务和nginx服务
chaos_oper的博客
06-11 328
一.saltstack的概念 1.salt的概念： 一种全新的基础设施管理方式，部署轻松，在几分钟内可运行起来，扩展性好，很容易管理上万台服务器，速度够快，服务器之间秒级通讯。 salt底层采用动态的连接总线，使其可以用于编配，远程执行，配置管理 Salt 是： 一个配置管理系统，能够维护预定义状态的远程节点(比如，确保指定的报被安装，指定的服务在运行) 一个分布式远程执行系统，用来在远程节点（可...
saltstack自动化实现nginx负载均衡
baidu_39076057的博客
07-20 301
1.配置环境： libsodium-1.0.16-1.el7.x86_64.rpm PyYAML-3.11-1.el7.x86_64.rpm openpgm-5.2.122-2.el7.x86_64.rpm repodata python2-libcloud-2.0.0-2.el7.noarch.rpm salt-2018.3.3-1.el7.noarch.rpm ...
2.SaltStack部署应用
Rain的博客
01-11 160
SaltStack搭建完成后，测试部署应用
saltstack自动化部署——nginx服务
qq_41961805的博客
06-18 389
以部署nginx为例，写一个用源码包部署服务的sls文件。 创建nginx目录，在目录内创建files目录。 在files目录中放置安装包。 [root@server1 nginx]# vim install.sls nginx-install: pkg.installed: - pkgs: - gcc - make - pcre-devel...
salt源码装nginx
weixin_34391445的博客
01-20 98
其实早就知道saltstack的强大，其中的state，grain，pillar，是个很好的自动化配置工具！！由于在上一个公司像这样的脚本都已经写好，其实没有太大的动力去学salt的更强大的功能。在这家公司就是深入研究一下salt。在之前做了好多的准备。。。今天下午才做成功实验！！！！废话不多说。上干货！！思路： 1.使用grains收集cpu信息、以及打开文件最...
镜像问题（k8s部署考试系统）
m0_70848838的博客
09-14 1144
如果使用containerd拉取不到镜像的话，就使用docker
Linux入门1
m0_62770407的博客
09-15 767
Linux的内核源码开源，所以只需要在内核的基础上加入内核程序就能形成一个完美可用的“操作系统”。虚拟机的名字密码根据自己喜好设置即可，接下来我将虚拟机放到了D盘中，大小根据需求，接下来直接点击下一步即可。第一种是绝对路径，第二种是在。当不使用选项和参数，直接使用ls命令本体，表示：以平铺形式，列出当前工作目录下的内容。不同的发行版在Linux的基础部分都是相同的，本教程是以常用的CentOS为例展开。当Linux终端（命令行）打开的时候，会默认以用户的HOME目录作为当前的工作目录。
利用zabbix监控ogg进程(Windows平台)
Linux运维老纪的博客
09-13 503
在Windows平台上，可以通过Zabbix监控Oracle GoldenGate（OGG）进程的状态。 使用Zabbix自带的服务模板，它可以检查Windows上的进程。本章详细介绍如何使用zabbix监控ogg进程。
【计算机网络 - 基础问题】每日 3 题（七）
最新发布
Newin2020的博客
09-16 861
✍个人博客：Pandaconda-CSDN博客📣专栏地址：http://t.csdnimg.cn/fYaBd📚专栏简介：在这个专栏中，我将会分享 C++ 面试中常见的面试题给大家~📝推荐参考地址：https://www.xiaolincoding.com/（这个大佬的专栏非常有用！
docker
czzwa的博客
09-11 815
Docker最初是dotCloud公司创始人Solomon Hykes在法国期间发起的一个公司内部项目，它是基于 dotCloud公司多年云服务技术的一次革新，并于2013年3月以Apache 2.0授权协议开源，Docker是用Go编 写，主要项目代码在GitHub上进行维护。Docker是一个用于开发，交付和运行应用程序的开放平台。Docker使用户能够将应用程序与基础架构 分开，从而可以快速交付软件。借助Docker，用户可以以与管理应用程序相同的方式来管理基础架构。
使用Saltstack搭建配置管理平台：Nginx配置实战
本篇文章将介绍如何利用SaltStack来构建一个配置管理平台，特别是针对Nginx配置的案例，涉及到SaltStack的核心组件如grains、grains_module、pillar、States以及模板引擎Jinja。 首先，理解设备环境是至关重要的。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值