SaltStack之数据系统

最新推荐文章于 2021-11-01 19:31:59 发布

小洲_Hello

最新推荐文章于 2021-11-01 19:31:59 发布

阅读量529

点赞数

本文链接：https://blog.csdn.net/wangniezhou/article/details/108112289

版权

SaltStack数据系统

SaltStack有两大数据系统，分别是：

Grains
Pillar

SaltStack数据系统组件

SaltStack组件之Grains

什么是Grains？

Grains是SaltStack的一个组件，存放着minion启动时收集的底层系统的静态信息。Grains中包含诸如运行的操作系统、内核版本、CPU个数、内存、主机名、IP地址、物理设备型号、甚至机器的SN号等非常多的信息。

Grains是存储在minion端的，当minion启动时，会进行Grains的采集工作，然后保存下来。在以后的生命周期（再次重启minion，会重新收集）是不会发生变化的，所以是静态数据。你可能已经想到这些数据可以用来做资产管理的信息收集。

Grains应用场景

Grains可以在state系统中使用，用于配置管理模块。
Grains可以target中使用，在用来匹配Minion，比如匹配操作系统，使用-G选项。
Grains可以用于信息查询，Grains保存着收集到的客户端的详细信息。

模板中进行目标匹配请看：https://docs.saltstack.com/en/latest/topics/pillar/

信息查询实例：

//列出所有grains的key和value
[root@master ~]# salt "minion" grains.items
minion:
    ----------
    biosreleasedate:   //bios的时间
        04/13/2018
    biosversion:       //bios的版本
        6.00
    cpu_flags:         //cpu相关的属性
        - fpu
        - vme
        - de
        - pse
        - tsc
        - msr
        - pae
        - mce
        - cx8
        - apic
        - sep
        - mtrr
        - pge
        - mca
        - cmov
        - pat
        - pse36
        - clflush
        - mmx
        - fxsr
        - sse
        - sse2
        - ss
        - syscall
        - nx
        - pdpe1gb
        - rdtscp
        - lm
        - constant_tsc
        - arch_perfmon
        - nopl
        - xtopology
        - tsc_reliable
        - nonstop_tsc
        - eagerfpu
        - pni
        - pclmulqdq
        - ssse3
        - fma
        - cx16
        - pcid
        - sse4_1
        - sse4_2
        - x2apic
        - movbe
        - popcnt
        - tsc_deadline_timer
        - aes
        - xsave
        - avx
        - f16c
        - rdrand
        - hypervisor
        - lahf_lm
        - abm
        - 3dnowprefetch
        - invpcid_single
        - ssbd
        - ibrs
        - ibpb
        - stibp
        - fsgsbase
        - tsc_adjust
        - bmi1
        - avx2
        - smep
        - bmi2
        - invpcid
        - mpx
        - rdseed
        - adx
        - smap
        - clflushopt
        - xsaveopt
        - xsavec
        - arat
        - md_clear
        - spec_ctrl
        - intel_stibp
        - flush_l1d
        - arch_capabilities
    cpu_model:             //cpu的具体型号
        Intel(R) Core(TM) i5-8265U CPU @ 1.60GHz
    cpuarch:               //cpu架构
        x86_64
    cwd:
        /
    disks:
        - sda
        - sr0
    dns:
        ----------
        domain:
        ip4_nameservers:
            - 192.168.201.2
        ip6_nameservers:
        nameservers:
            - 192.168.201.2
        options:
        search:
            - localdomain
        sortlist:
    domain:
    fqdn:
        minion
    fqdn_ip4:         //ip地址
        - 192.168.201.139
    fqdn_ip6:
        - fe80::760f:18e:5208:788f
    fqdns:
        - minion
    gid:
        0
    gpus:
        |_
          ----------
          model:
              SVGA II Adapter
          vendor:
              vmware
    groupname:
        root
    host:            //主机名
        minion
    hwaddr_interfaces:
        ----------
        ens33:
            00:0c:29:7f:9e:47
        lo:
            00:00:00:00:00:00
    id:              //minion的ID
        minion
    init:
        systemd
    ip4_gw:
        192.168.201.2
    ip4_interfaces:
        ----------
        ens33:
            - 192.168.201.139
        lo:
            - 127.0.0.1
    ip6_gw:
        False
    ip6_interfaces:
        ----------
        ens33:
            - fe80::760f:18e:5208:788f
        lo:
            - ::1
    ip_gw:
        True
    ip_interfaces:
        ----------
        ens33:
            - 192.168.201.139
            - fe80::760f:18e:5208:788f
        lo:
            - 127.0.0.1
            - ::1
    ipv4:
        - 127.0.0.1
        - 192.168.201.139
    ipv6:
        - ::1
        - fe80::760f:18e:5208:788f
    kernel:
        Linux
    kernelparams:
        |_
          - BOOT_IMAGE
          - /vmlinuz-3.10.0-1127.el7.x86_64
        |_
          - root
          - /dev/mapper/centos-root
        |_
          - ro
          - None
        |_
          - crashkernel
          - auto
        |_
          - spectre_v2
          - retpoline
        |_
          - rd.lvm.lv
          - centos/root
        |_
          - rd.lvm.lv
          - centos/swap
        |_
          - rhgb
          - None
        |_
          - quiet
          - None
        |_
          - LANG
          - en_US.UTF-8
    kernelrelease:
        3.10.0-1127.el7.x86_64
    kernelversion:
        #1 SMP Tue Mar 31 23:36:51 UTC 2020
    locale_info:
        ----------
        defaultencoding:
            UTF-8
        defaultlanguage:
            en_US
        detectedencoding:
            UTF-8
        timezone:
            unknown
    localhost:
        minion
    lsb_distrib_codename:
        CentOS Linux 7 (Core)
    lsb_distrib_id:
        CentOS Linux
    machine_id:
        c6cad66cb7384c368fea3e0b4b637e0e
    manufacturer:
        VMware, Inc.
    master:
        192.168.201.138
    mdadm:
    mem_total:
        1819
    nodename:
        minion
    num_cpus:
        1
    num_gpus:
        1
    os:
        CentOS
    os_family:
        RedHat
    osarch:
        x86_64
    oscodename:
        CentOS Linux 7 (Core)
    osfinger:
        CentOS Linux-7
    osfullname:
        CentOS Linux
    osmajorrelease:
        7
    osrelease:
        7.8.2003
    osrelease_info:
        - 7
        - 8
        - 2003
    path:
        /usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin
    pid:
        1757
    productname:
        VMware Virtual Platform
    ps:
        ps -efHww
    pythonexecutable:
        /usr/bin/python3
    pythonpath:
        - /usr/bin
        - /usr/lib64/python36.zip
        - /usr/lib64/python3.6
        - /usr/lib64/python3.6/lib-dynload
        - /usr/lib64/python3.6/site-packages
        - /usr/lib/python3.6/site-packages
    pythonversion:
        - 3
        - 6
        - 8
        - final
        - 0
    saltpath:
        /usr/lib/python3.6/site-packages/salt
    saltversion:
        3001.1
    saltversioninfo:
        - 3001
        - 1
    selinux:
        ----------
        enabled:
            False
        enforced:
            Disabled
    serialnumber:
        VMware-56 4d c1 27 74 7e 3d 34-69 8a 71 09 e6 7f 9e 47
    server_id:
        279719642
    shell:
        /bin/sh
    ssds:
    swap_total:
        2047
    systemd:
        ----------
        features:
            +PAM +AUDIT +SELINUX +IMA -APPARMOR +SMACK +SYSVINIT +UTMP +LIBCRYPTSETUP +GCRYPT +GNUTLS +ACL +XZ +LZ4 -SECCOMP +BLKID +ELFUTILS +KMOD +IDN
        version:
            219
    systempath:
        - /usr/local/sbin
        - /usr/local/bin
        - /usr/sbin
        - /usr/bin
    uid:
        0
    username:
        root
    uuid:
        27c14d56-7e74-343d-698a-7109e67f9e47
    virtual:
        VMware
    zfs_feature_flags:
        False
    zfs_support:
        False
    zmqversion:
        4.1.4



//只查询所有的grains的key
[root@master ~]# salt "minion" grains.ls
minion:
    - biosreleasedate
    - biosversion
    - cpu_flags
    - cpu_model
    - cpuarch
    - cwd
    - disks
    - dns
    - domain
    - fqdn
    - fqdn_ip4
    - fqdn_ip6
    - fqdns
    - gid
    - gpus
    - groupname
    - host
    - hwaddr_interfaces
    - id
    - init
    - ip4_gw
    - ip4_interfaces
    - ip6_gw
    - ip6_interfaces
    - ip_gw
    - ip_interfaces
    - ipv4
    - ipv6
    - kernel
    - kernelparams
    - kernelrelease
    - kernelversion
    - locale_info
    - localhost
    - lsb_distrib_codename
    - lsb_distrib_id
    - machine_id
    - manufacturer
    - master
    - mdadm
    - mem_total
    - nodename
    - num_cpus
    - num_gpus
    - os
    - os_family
    - osarch
    - oscodename
    - osfinger
    - osfullname
    - osmajorrelease
    - osrelease
    - osrelease_info
    - path
    - pid
    - productname
    - ps
    - pythonexecutable
    - pythonpath
    - pythonversion
    - saltpath
    - saltversion
    - saltversioninfo
    - selinux
    - serialnumber
    - server_id
    - shell
    - ssds
    - swap_total
    - systemd
    - systempath
    - uid
    - username
    - uuid
    - virtual
    - zfs_feature_flags
    - zfs_support
    - zmqversion



//查询某个key的值，比如想获取ip地址
[root@master ~]# salt "minion" grains.get fqdn_ip4
minion:
    - 192.168.201.139
[root@master ~]# salt "minion" grains.get ip4_interfaces
minion:
    ----------
    ens33:
        - 192.168.201.139
    lo:
        - 127.0.0.1
[root@master ~]# salt "minion" grains.get ip4_interfaces:ens33
minion:
    - 192.168.201.139

目标匹配实例：
用Grains来匹配minion：

//查看minion主机系统
[root@master ~]# salt '*' grains.get os
minion:
    CentOS

//在所有centos系统中执行命令
[root@master ~]# salt -G 'os:CentOS' cmd.run 'uptime'
minion:
     10:04:34 up  1:04,  2 users,  load average: 0.00, 0.01, 0.05

在top file里面使用Grains：

[root@master ~]# cat /srv/salt/base/web/apache/apache.sls 
apache-install:
  pkg.installed:
    - name: httpd

apache-service:
  service.running:
    - name: httpd
    - enable: True

[root@master ~]# cat /srv/salt/base/top.sls
base:
  'os:CentOS':      
    - match: grain      //所有centos系统执行
    - web.apache.apache

自定义Grains的两种方法：

minion配置文件，在配置文件中搜索grains
在/etc/salt下生成一个grains文件，在此文件中定义(推荐方式)

[root@master ~]# vim /etc/salt/minion
//取消注释并定义Grains
grains:
  role:
    - apache
[root@master ~]# systemctl restart salt-minion
[root@master ~]# salt -G 'os:CentOS' grains.get role
minion:
    - apache

//不重启的情况下自定义Grains：
[root@master ~]# vim /etc/salt/grains
test-grains: minion_apache
[root@master ~]# salt-cp '*' /etc/salt/grains /etc/salt/grains
[root@master ~]# salt '*' saltutil.sync_grains    //刷新grains
minion:
[root@master ~]# salt '*' grains.get test-grains
minion:
    minion_apache

SaltStack组件之Pillar

Pillar也是saltstack组件中非常重要的组件之一，称作数据管理中心，经常配合states在大规模的配置管理中使用。
Pillar是动态的，存储在master端，提供和给minion端
Pillar在SaltStack中主要的作用是存储和定义配置管理中需要的一些数据，比如软件版本号，用户账号密码等，保证敏感数据不被其他minion看到
存储格式与Grains类似，都是YAML格式

在Master配置文件中有一段Pillar settings选项专门定义Pillar相关的一些参数：

#pillar_roots:
#  base:
#    - /srv/pillar

默认Base环境下Pillar的工作目录在/srv/pillar目录下。若你想定义多个环境不同的Pillar工作目录，只需要修改此处配置文件即可。

Pillar的特点：

可以给指定的minion定义它需要的数据
只有指定的人才能看到定义的数据
在master配置文件里设置

//查看pillar的信息
[root@master ~]# salt '*' pillar.items
minion:
    ----------

默认pillar是没有任何信息的，如果想查看信息，需要在 master 配置文件上把 pillar_opts的注释取消，并将其值设为 True。

[root@master ~]# vim /etc/salt/master 
......此处为省略内容
pillar_opts: True
......此处为省略内容

//重启master并查看pillar的信息
[root@master ~]# systemctl restart salt-master
[root@master ~]# salt '*' pillar.items
....此处省略N行
        syndic_dir:
            /var/cache/salt/master/syndics
        syndic_event_forward_timeout:
            0.5
        syndic_jid_forward_cache_hwm:
            100
        syndic_master:
        syndic_max_event_process_time:
            0.5
        syndic_wait:
            5
        timeout:
            5
        token_dir:
            /var/cache/salt/master/tokens
        token_expire:
            43200
        transport:
            zeromq
        user:
            root
        verify_env:
            True
        win_gitrepos:
            - https://github.com/saltstack/salt-winrepo.git
        win_repo:
            /srv/salt/win/repo
        win_repo_mastercachefile:
            /srv/salt/win/repo/winrepo.p
        worker_floscript:
            /usr/lib/python2.7/site-packages/salt/daemons/flo/worker.flo
        worker_threads:
            5
        zmq_filtering:
            False

pillar自定义数据：
在master的配置文件里找pillar_roots可以看到其存放pillar的位置

[root@master ~]# vim /etc/salt/master
......此处为省略内容
pillar_roots:
  base:
    - /srv/pillar/base
  prod:
    - /srv/pillar/prod
  test:
    - /srv/pillar/test
......此处为省略内容


//创建pillar存放目录
[root@master ~]# mkdir -p /srv/pillar/{base,prod,test}
[root@master ~]# tree /srv/pillar/
/srv/pillar/
├── base
├── prod
└── test

3 directories, 0 files
[root@master ~]# systemctl restart salt-master


//自定义pillar信息
[root@master ~]# vim /srv/pillar/base/apache.sls
{% if grains['os'] == 'CentOS' %}
apache: httpd
{% elif grains['os'] == 'Debian' %}
apache: apache2
{% endif %}

//定义top file入口文件
[root@master ~]# vim /srv/pillar/base/top.sls
base:    //指定环境
  "minion":   //指定目标
    - apache    //引用apache.sls或apache/init.sls
//这个top.sls文件的意思表示的是minion这台主机的base环境能够访问到apache这个pillar


[root@master ~]# salt '*' pillar.items
minion:
    ----------
    apache:
        httpd

//在salt下修改apache的状态文件，引用pillar的数据
[root@master ~]# vim /srv/salt/base/web/apache/apache.sls
apache-install:
  pkg.installed:
    - name: {{ pillar['apache'] }}

apache-service:
  service.running:
    - name: {{ pillar['apache'] }}
    - enable: True


//执行高级状态文件
[root@master ~]# salt "minion" state.highstate
minion:
----------
          ID: apache-install
    Function: pkg.installed
        Name: httpd
      Result: True
     Comment: All specified packages are already installed
     Started: 11:34:31.443069
    Duration: 599.607 ms
     Changes:   
----------
          ID: apache-service
    Function: service.running
        Name: httpd
      Result: True
     Comment: The service httpd is already running
     Started: 11:34:32.043805
    Duration: 24.122 ms
     Changes:   

Summary
------------
Succeeded: 2
Failed:    0
------------
Total states run:     2

Grains与Pillar的区别

	存储位置	类型	采集方式	应用场景
Grains	minion	静态	minion启动时采集可通过刷新避免重启minion服务	1.信息查询 2.在命令行下进行目标匹配 3.在top file中进行目标匹配 4.在模板中进行目标匹配
Pillar	master	动态	指定，实时生效	1.目标匹配 2.敏感数据配置