容器中rc.local，login shell, systemctl微妙关系

背景：

假设有这么一个需求：

• 容器中能使用systemctl操作和查看服务状态
• 容器启动时需获取运行容器时传入环境变量

实践出真理

我们先写一个获取环境变量的简单shell脚本

# file name: env.sh

#!/usr/bash

echo "get container envs" >> /tmp/env
#  通过linux命令获取环境变量然后重定向到某文件
env >> /tmp/env
# 防止容器执行完脚本后退出
while true; do sleep 1000; done

首先想到的是把启动容器需执行的脚本放到ENTRYPOINT中执行，看看我们的Dockerfile

FROM centos:base
MAINTAINER Tab609
# copy shell脚本到容器
COPY env.sh /
# env.sh增加执行权限
RUN chmod +x /env.sh
ENTRYPOINT ["/env.sh"]

运行容器

# 假设build出来的镜像是centos:v1
docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v1

进入容器发现是获取了环境变量PASSWORD，但是容器中不能运行systemctl，提示以下错

Failed to get D-Bus connection: Operation not permitted

ok，我们运行容器时传入/usr/sbin/init给容器执行(容器中使用systemctl命令)

docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v1 /usr/sbin/init

进入容器发现systemctl命令是可以运行了，但是env.sh脚本没有执行，查看k8s官方文档发现是docker run传入的命令把Dockerfile中的ENTRYPOINT覆盖了

看来两个需求只能二选一了？不，想想linux不是有开机启动项/etc/rc.local么，我们是不是可以把env.sh脚本放到/etc/rc.local

修改env.sh脚本

# file name: env.sh

#!/usr/bash

echo "get container envs" >> /tmp/env
#  通过linux命令获取环境变量然后重定向到某文件
env >> /tmp/env

修改Dockerfile

FROM centos:base
MAINTAINER Tab609
# copy shell脚本到容器
COPY env.sh /
# env.sh增加执行权限
RUN chmod +x /env.sh
# 在rc.local中执行env.sh
RUN echo "/env.sh" >> /etc/rc.local
# 给rc.loacl增加执行权限
RUN chmod +x /etc/rc.local
CMD ["/bin/bash"]

运行容器

# 假设build出来的镜像是centos:v2
docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v2 /usr/sbin/init

进入容器发现shell脚本是执行了，但是并没有获取到环境变量，说明在启动执行rc.local时，环境变量并没有被source出来。

于是想到可能跟linux启动顺序有关，谷歌搜到了阮一峰老师的Linux启动流程，证实了在执行rc.loacl时并没有执行login shell，所以获取不到环境变量。

那docker run传入的环境变量到存在哪里呢？百思不得其解。谷歌得知linux系统中进程的环境变量都会存放在该进程的父进程id号文件夹里(/proc/pid_num)，我们在容器里看看/usr/sbin/init的父进程id号是1

$ ps aux | grep /usr/sbin/init
root          1  0.0  0.0  43076  3424 ?        Ss   18:00   0:03 /usr/sbin/init
root       8349  0.0  0.0  10632   972 ?        S+   19:48   0:00 grep --color=auto /usr/sbin/init

$ cd /proc/1/
$ ls
attr         cpuset   limits      net        projid_map  statm
autogroup    cwd      loginuid    ns         root    status
auxv         environ  map_files   numa_maps      sched   syscall
cgroup       exe      maps        oom_adj        sessionid   task
clear_refs   fd   mem         oom_score      setgroups   timers
cmdline      fdinfo   mountinfo   oom_score_adj  smaps   uid_map
comm         gid_map  mounts      pagemap        stack   wchan
coredump_filter  io   mountstats  personality    stat

# 看到有一个environ的文件
$ cat environ
PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/binHOSTNAME=4365f443988bPASSWORD=123456HOME=/root

# 看到我们传入的PASSWORD环境变量了吧，当我们用python读取environ文件的时候，发现环境变量之间是有分割符的:\x00
$ python
Python 2.7.5 (default, Nov  6 2016, 00:28:07) 
[GCC 4.8.5 20150623 (Red Hat 4.8.5-11)] on linux2
Type "help", "copyright", "credits" or "license" for more information.
>>> data = open('/proc/1/environ', 'r').read()
>>> data
'PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin\x00HOSTNAME=4365f443988b\x00PASSWORD=123456\x00HOME=/root\x00'
>>> 

ok，现在我们不用系统命令env获取环境变量，我们从文件中获取，对shell不太熟悉，所以把env.sh换成env.py

#!/usr/bin/env python
# -*- coding: utf-8 -*-

# file name: env.py

import sys

def get_environ():
    """
    获取'/proc/1/environ'中的环境变量
    """
    with open('/proc/1/environ', 'r') as fp:
        data = fp.read()
    if not data:
        print '/proc/1/environ not data!'
        sys.exit(1)
    data = data.split('\x00')
    envs = dict()
    for item in data:
        if not '=' in item:
            continue
        key, val = item.split('=')
        envs.update({key: val})
    with open('/tmp/env', 'w') as fp:
        fp.write(json.dumps(envs))
    # return envs

get_envrion()

Dockerfile文件

FROM centos:base
MAINTAINER Tab609
# copy python脚本到容器
COPY env.py /
# env.py增加执行权限
RUN chmod +x /env.py
# 在rc.local中执行env.py
RUN echo "python /env.py" >> /etc/rc.local
# 给rc.loacl增加执行权限
RUN chmod +x /etc/rc.local
CMD ["/bin/bash"]

运行容器

# 假设build出来的镜像是centos:v3
docker run -d --name test -e PASSWORD=123456 --privileged=true centos:v3 /usr/sbin/init

好了，这样我们就能让容器在启动时通过rc.local自动执行脚本获取传入容器的环境变量，同时容器又能使用systemctl了。

比较常见的情景是我们容器启动时启动的服务/进程需要用到传入的环境变量，容器中又必须拥有执行systemctl权限。