通过shell脚本自动初始化python环境

    在项目周期内需要经历三个过程,分别是开发、测试、部署。在这三个过程中,一般需要有三个环境分别与之对应,分别是:开发环境、测试环境和生产环境。为了维护这三个环境的一致性(至少是环境所提供的依赖库和功能一致)和环境的快速搭建,因此在项目的推进过程(环境搭建和代码部署)中,都强调实施的自动化。这时通过编写shell脚本可以满足这一需求。

    像python这种脚本语言,有着强大的第三方开发插件库,能够提供丰富的功能。因此在项目的开发过程中,就避免不了引入非常多的第三方插件,丰富项目的功能并节省项目的开发周期。但是大量第三方插件的引入,也为项目环境的搭建部署增加了难度,如果通过人工完成环境的克隆是一个很困难的过程。如果我们在开发过程中,环境的搭建都是通过shell脚本初始化完成的,并且在需要引入新的插件过程中,及时调整shell脚本,那么即使在一个全新的环境中,再次进行环境的初始化,这也是一件非常容易的事情,这也就实现了环境的自动化部署。

    结合前面讲解的《python虚拟环境virtualenv的搭建使用》中,python的virtualenv虚拟环境和插件自动安装指令,就可以通过编写shell脚本,轻松的完成环境的搭建。并且由于不同虚拟环境的隔离,新搭建的环境不会对原有的环境产生任何影响。

一、项目实战:搭建一个python环境

#!/bin/bash
# 生成virtualenv脚本

set -e
#创建virtualenv
/usr/local/python27/bin/virtualenv /www/venv

#安装依赖模块
unset http_proxy https_proxy
/www/venv/bin/pip install psutil

#设置代理
#export https_proxy=http://*.*.*.*:8124
#export http_proxy=http://*.*.*.*:8124

#安装依赖模块
/www/venv/bin/pip install lz4 protobuf msgpack-python pyzmq setproctitle mysql-connector-python python-memcached pymongo

#安装Dpark
/www/venv/bin/pip install https://github.com/douban/dpark/archive/master.zip

VENV_PYTHON=/www/venv/bin/python

#解决virtualenv环境下dpark无法在mesos集群中运行的问题
sed -i "1s|^.*$|#!$VENV_PYTHON|" /www/venv/lib/python2.7/site-packages/dpark/bin/executor27.py

   部分扩展说明:

  • psutil:psutil is a module providing an interface for retrieving information on all running processes and system utilization (CPU, memory, disks, network, users) in a portable way by using Python, implementing many functionalities offered by command line tools such as: ps, top, df, kill, free, lsof, free, netstat, ifconfig, nice, ionice, iostat, iotop, uptime, pidof, tty, who, taskset, pmap.It currently supports LinuxWindowsOSXFreeBSDSun Solaris both 32-bit and 64-bit with Python versions from 2.4 to 3.3 by using a single code base.  使用案例:https://pypi.python.org/pypi/psutil
  • lz4:This package provides bindings for the lz4 compression library by Yann Collet.   使用案例: https://pypi.python.org/pypi/lz4 

二、项目实战:运行所需执行的python脚本

#!/bin/bash
set -e
cd `dirname $0`
source /www/venv/bin/activate

DATE=$1
#日志清理分析
python clean_day.py -m mesos --date $DATE
python kpi_day_duration.py -m mesos --date $DATE

三、项目实战:环境的初始化

#!/bin/bash
#Program:
#	Program for init warehouse env
#History:
#   2014/03/20 First release
PATH=/bin:/sbin:/usr/bin:/usr/sbin:/usr/local/bin:/usr/local/sbin:~/bin
export PATH

#init data store path
hadoop fs -test -d /data/project
if [ $? = 0 ]
then
    hadoop fs -rm -r /data/project
fi
hadoop fs -mkdir /data/project/eventlog
hadoop fs -mkdir /data/project/userlog
hadoop fs -mkdir /data/project/definelog

#init oozie workspace for load data into hive
hadoop fs -test -d  /user/oozie/workspaces/adminspaces/init_partition
if [ $? = 0 ]
then
    hadoop fs -rm -r  /user/oozie/workspaces/adminspaces/init_partition
fi
hadoop fs -mkdir /user/oozie/workspaces/yidongspaces/init_partition
hadoop fs -put ./Oozie/script.q /user/oozie/workspaces/adminspaces/init_partition/script.q
hadoop fs -put ./Oozie/workflow.xml /user/oozie/workspaces/adminspaces/init_partition/workflow.xml

#init hive database and tables
hive -f ./hive/hive.q

四、项目实战:数据录入

#!/bin/bash
datestart=$1
dateend=$2

beg_s=`date -d "$datestart" +%s`
end_s=`date -d "$dateend" +%s`

while [[ "$beg_s" -le "$end_s" ]]
do
        /www/venv/bin/python CleanData.py -d $(date -d @$beg_s +"%Y%m%d%H")
        beg_s=$((beg_s+3600))
done

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值