1.前言:
在安装python3过程中,通过搜索一些文章参考,发现比较麻烦,而且还出现一些不可预期的报错。python3环境需要升级openssl,所以为了部署到其他环境更方便,写自动安装脚本方式,且安装模式为python3.x与python2.x共存,防止可能发生原有环境异常的情况。
现在我把脚本分享出来,希望可以帮助到有需要的人,业务采集监控python脚本文件不提供,因为那些跟实际业务开发关联比较紧,比较没有参考意义也不方便公开。
shell自动安装脚本,只需按说明简单修改配置,和调用集成脚本对应函数即可完成。安装过程大约30分钟,仅做参考,依网速快慢而定。
2.文件夹功能说明:
文件夹名称 | 功能说明 |
---|---|
python3_deploy | 存放部署需要shell脚本文件 |
python3_script | 存放实现采集监控信息python脚本 |
3.python3_deploy下文件摘要说明
shell脚本文件 | 主要用途 | 备注 |
---|---|---|
cnl_function.sh | 常用方法(检测上一次操作是否正常完成) | 安装服务脚本引用 |
openssl_install_step_1.sh | openssl服务升级自动安装部署 | |
python3_install_step_2.sh | python3.7服务自动安装部署 | |
python3_process_step_3.sh | python3程序自动部署&启动监控信息采集脚本 | 需配置,下文详细说明 |
deploy_python3.sh | 集成脚本,主要操作入口 | 需配置,下文详细说明 |
4.shell安装脚本
4.1. cnl_function.sh 脚本内容:
#!/bin/bash
#chennailuan's function
#check last command id Ok or not.
check_ok(){
if [ $? != 0 ]
then
echo "Error,Check the error log."
exit 1
else
echo
fi
}
4.2.openssl_install_step_1.sh 脚本内容:
#!/bin/bash
# @author:xiufen.huang
# @date:2019-09-03
###############################################
echo ""
echo ""
echo "***************************************************************"
echo "* *"
echo "* *"
echo "* openssl服务升级自动安装部署 *"
echo "* *"
echo "* *"
echo "***************************************************************"
echo ""
echo ""
echo "*****安装时间大约15分钟,仅做参考,依网速快慢而定,请耐心等待*****"
# 导入常用方法类
source ./cnl_function.sh
#获取脚本所在的当前路径
path_now=$(cd "$(dirname "$0")"; pwd)
echo "脚本执行当前路径为: $path_now "
start_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "安装开始时间:$start_time"
echo "1.下载最新版openssl"
[ -f openssl-1.1.1a.tar.gz ] || wget https://www.openssl.org/source/openssl-1.1.1a.tar.gz
# 如果存在解压路径删除
[ -d openssl-1.1.1a ] && rm -rf openssl-1.1.1a
echo "2.解压安装包"
tar -zxf openssl-1.1.1a.tar.gz
# 检验上一命令是否正常执行完成
check_ok
echo "3.备份原配置"
[ -f /usr/bin/openssl.bak ] || mv /usr/bin/openssl /usr/bin/openssl.bak
[ -f /usr/include/openssl.bak ] || mv /usr/include/openssl/ /usr/include/openssl.bak
#openssl安装目录
path_openssl=/usr/local/openssl
echo "4.创建安装目录"
echo "判断是否存在openssl文件夹,如果不存在则新建openssl文件夹"
if [ -d $path_openssl ]
then
echo "openssl文件夹已经创建,不需要重复创建!"
else
mkdir -p /usr/local/openssl
echo "openssl文件夹创建成功!"
fi
echo ""
echo "5.编译安装编译工具及库"
cd openssl-1.1.1a
check_ok
# 安装gcc编译器
yum install gcc* glien* -y
check_ok
echo "开始编译......"
# 一定要shared zlib,否则python3安装带ssl,pip无法使用
./config --prefix=/usr/local/openssl shared zlib
check_ok
echo "开始安装......"
make
check_ok
make install
check_ok
echo "6.新版配置"
#将安装好的openssl命令软连到/usr/bin/openssl
[ -f /usr/bin/openssl ] || ln -s /usr/local/openssl/bin/openssl /usr/bin/openssl
# 将安装好的openssl 的openssl命令软连到/usr/bin/openssl
[ -f /usr/include/openssl ] || ln -s /usr/local/openssl/include/openssl /usr/include/openssl
#软链到升级后的libssl.so
[ -f /usr/local/lib64/libssl.so ] || ln -s /usr/local/openssl/lib/libssl.so.1.1 /usr/local/lib64/libssl.so
# 添加软链
[ -f /usr/lib64/libssl.so.1.1 ] || ln -s /usr/local/openssl/lib/libssl.so.1.1 /usr/lib64/libssl.so.1.1
[ -f /usr/lib64/libcrypto.so.1.1 ] || ln -s /usr/local/openssl/lib/libcrypto.so.1.1 /usr/lib64/libcrypto.so.1.1
echo "7.修改系统配置"
#写入openssl库文件的搜索路径
echo "/usr/local/openssl/lib" >> /etc/ld.so.conf
#使修改后的/etc/ld.so.conf生效
/sbin/ldconfig -v
echo "8.查看openssl版本"
openssl version
echo "删除安装包"
rm -rf openssl-1.1.1a
rm -rf openssl-1.1.1a.tar.gz
end_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "安装结束时间:$end_time"
echo "openssl服务升级完成."
4.3.python3_install_step_2.sh 脚本内容:
#!/bin/bash
# @author:xiufen.huang
# @date:2019-09-03
###############################################
echo ""
echo ""
echo "***************************************************************"
echo "* *"
echo "* *"
echo "* python3.7服务自动安装部署 *"
echo "* *"
echo "* *"
echo "***************************************************************"
echo ""
echo ""
echo "*****安装时间大约12分钟,仅做参考,依网速快慢而定,请耐心等待*****"
# 导入常用方法类
source ./cnl_function.sh
#获取脚本所在的当前路径
path_now=$(cd "$(dirname "$0")"; pwd)
echo "脚本执行当前路径为: $path_now "
start_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "安装开始时间:$start_time"
echo "1.下载Python-3.7.4.tgz"
[ -f Python-3.7.4.tgz ] || wget https://www.python.org/ftp/python/3.7.4/Python-3.7.4.tgz
# 如果存在解压路径删除
[ -d Python-3.7.4 ] && rm -rf Python-3.7.4
echo "2.解压安装包"
tar -xvf Python-3.7.4.tgz
# 检验上一命令是否正常执行完成
check_ok
echo "3.安装编译工具及库"
cd Python-3.7.4
check_ok
# 安装gcc编译器
yum install gcc* glien* -y
check_ok
# 非必需--安装失败时,可以尝试安装组的开发工具:
yum grouplist
check_ok
yum groupinstall 'Development Tools' -y
check_ok
# 安装依赖包,解决make报错ModuleNotFoundError: No module named '_ctypes'的解决办法
yum install libffi-devel -y
# python3.7安装目录
path_python=/usr/local/python3
echo "4.创建安装目录"
echo "判断是否存在python3文件夹,如果不存在则新建python3文件夹"
if [ -d $path_python ]
then
echo "python3文件夹已经创建,不需要重复创建!"
else
mkdir -p /usr/local/python3
echo "python3文件夹创建成功!"
fi
echo ""
# 修改./Modules/Setup.dist文件,解决pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
# 代码块,echo一定要用单引号'
echo '_socket socketmodule.c' >> Modules/Setup.dist
echo 'SSL=/usr/local/openssl' >> Modules/Setup.dist
echo '_ssl _ssl.c \' >> Modules/Setup.dist
echo ' -DUSE_SSL -I$(SSL)/include -I$(SSL)/include/openssl \' >> Modules/Setup.dist
echo ' -L$(SSL)/lib -lssl -lcrypto' >> Modules/Setup.dist
echo "5.开始编译"
./configure --prefix=/usr/local/python3 --with-openssl=/usr/local/openssl --with-ssl-default-suites=python
check_ok
echo "6.开始安装"
make
check_ok
sudo make install
check_ok
echo "7.创建快捷路径"
# 添加软链接
[ -f /usr/bin/python3 ] || ln -s /usr/local/python3/bin/python3 /usr/bin/python3
[ -f /usr/bin/pip3 ] || ln -s /usr/local/python3/bin/pip3 /usr/bin/pip3
echo "8.检验是否安装成功"
python3 -V
echo "删除安装包"
rm -rf Python-3.7.4
rm -rf Python-3.7.4.tgz
echo "升级pip3版本"
pip3 install --upgrade pip -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 install --upgrade setuptools -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
pip3 list
end_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "安装结束时间:$end_time"
echo "python3.7服务安装完成."
4.4.python3_process_step_3.sh 脚本内容:
#!/bin/bash
# @author:xiufen.huang
# @date:2019-09-03
###############################################
echo ""
echo ""
echo "****************************************************************************"
echo "* *"
echo "* *"
echo "* python3程序自动部署&启动监控信息采集脚本 *"
echo "* 部署需要的文件,需要提前用rz上传,详细请参阅:详细操作步骤说明.md *"
echo "* *"
echo "* *"
echo "****************************************************************************"
echo ""
echo ""
echo "***********部署时间大约3分钟,仅做参考,依网速快慢而定,请耐心等待************"
# 导入常用方法类
source ./cnl_function.sh
# 程序部署目录(根据自己情况,修改为自己的部署目录)
deploy_path="/apps/python3_script"
# 监控信息采集脚本
startup_file="collector_startup.py"
# 切到程序部署目录
cd $deploy_path
#获取脚本所在的当前路径
path_now=$(cd "$(dirname "$0")"; pwd)
echo "脚本执行当前路径为: $path_now "
start_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "部署开始时间:$start_time"
echo "1.安装dos2unix命令"
yum -y install dos2unix*
check_ok
echo "2.安装postgresql插件"
# linux环境要安装模块psycopg2,需要先安装postgresql插件
yum install postgresql-devel* -y
# 判断是否上传脚本了
if [ ! -e requirements.txt ]
then
echo "本次部署需要脚本,请再次确认是否按【详细操作步骤说明.md】 上传了?"
exit 1
else
# 1.执行命令安装requirements.txt中的模块
echo "3.安装程序需要的python3模块"
pip3 install -r requirements.txt -i http://pypi.douban.com/simple --trusted-host pypi.douban.com
check_ok
fi
# 查看已经安装的模块
pip3 list
echo "4.睡眠2秒,查看安装模块"
sleep 2s
echo "5.转换脚本文件格式"
sudo find -name "*.py" | xargs dos2unix
check_ok
echo "6.批量增加可执行权限"
chmod +x *.py
echo "7.启动python程序"
nohup python3 -u $deploy_path/$startup_file &
sleep 1s
rm -rf nohup.out
end_time=$(date '+%Y-%m-%d %H:%M:%S')
echo "8.部署结束时间:$end_time"
echo "python3程序部署完成."
4.5.deploy_python3.sh 脚本内容:
#!/bin/bash
# @author:xiufen.huang
# @date:2019-09-03
###############################################
echo ""
echo ""
echo "**************************************************"
echo "* *"
echo "* *"
echo "* python3程序部署集成脚本 *"
echo "* 详细请参阅:详细操作步骤说明.md *"
echo "* *"
echo "* *"
echo "**************************************************"
echo ""
echo ""
# openssl服务升级自动安装部署--shell脚本
step_1="openssl_install_step_1.sh"
# python3.7服务自动安装部署--shell脚本
step_2="python3_install_step_2.sh"
# python3程序自动部署--shell脚本
step_3="python3_process_step_3.sh"
# 程序部署目录(根据自己情况,修改为自己的部署目录)
deploy_path="/apps/python3_script"
# 监控信息采集脚本
startup_file="collector_startup.py"
# openssl服务升级自动安装部署
function openssl(){
sh $step_1
}
# python3.7服务自动安装部署
function python3(){
sh $step_2
}
# python3程序自动部署&启动监控信息采集脚本--shell脚本
function process(){
sh $step_3
}
# 启动监控信息采集脚本
function start(){
echo "开始启动监控信息采集脚本..."
#查找python3运行的进程数
num=`ps -ef|grep python3|grep -v grep|wc -l`
#echo "$num...."
#判断是否有python3进程运行,如果没有则运行执行nohup命令
if [ "$num" = "0" ] || [ "$num" = "2" ] ;then
# 切到程序部署目录
cd $deploy_path
nohup python3 -u $deploy_path/$startup_file &
echo "启动成功..."
sleep 1s
rm -rf nohup.out
else
echo "进程已经存在,启动失败,请检查..."
exit 0
fi
}
# 信息监控信息采集脚本
function stop(){
echo "开始停止监控信息采集脚本..."
num=`ps -ef|grep python3|grep -v grep|wc -l`
#echo "$num...."
if [ "$num" = "0" ] || [ "$num" = "2" ];then
echo "服务未启动,无须停止..."
else
#正常停止python3
ps -ef|grep python3|grep -v grep|awk '{print $2;}'|xargs kill
echo "进程已经关闭..."
fi
}
#case 命令获取输入的参数,例:参数:start,执行start(),参数:stop,执行stop(),
case "$1" in
"openssl")
openssl
;;
"python3")
python3
;;
"process")
process
;;
"start")
start
;;
"stop")
stop
;;
*)
;;
esac
5.使用说明
5.1.配置部署路径-自动部署脚本
文件路径:/python3_deploy/python3_process_step_3.sh ,只需修改程序部署目录deploy_path的值
# 程序部署目录(根据自己情况,修改为自己的部署目录)
deploy_path="/apps/python3_script"
5.2.配置部署路径-集成脚本
文件路径:/python3_deploy/deploy_python3.sh ,只需修改程序部署目录deploy_path的值
# 程序部署目录(根据自己情况,修改为自己的部署目录)
deploy_path="/apps/python3_script"
5.3.上传部署shell脚本
上传文件夹:python3_deploy下的所有文件到指定目录,可以为部署目录(即步骤1、2配置值),也可自己创建的一个目录存储(建议单独目录存储)。假设存储目录:/apps/python3_deploy 。上传完成后,需要为shell脚本给定可执行权限。
# 批量增加可执行权限
chmod +x *.sh
5.4.升级openssl服务版本
升级openssl版本,是为了解决:使用pip3时报错: pip is configured with locations that require TLS/SSL, however the ssl module in Python is not available.
安装只需要集成脚本提供的函数,完成自动升级,过程大约15分钟,仅做参考,依网速快慢而定。
#自动升级命令
sh deploy_python3.sh openssl
升级完成,会给出提示信息:openssl服务升级完成,及升级后版本信息。
5.5.安装python3.7服务
安装模式为python3.x与python2.x共存。命令:python , pthon2 指向python2.x,命令:python3,pip3指向python3.x。
安装只需要集成脚本提供的函数,完成自动安装,过程大约12分钟,仅做参考,依网速快慢而定。
# 自动安装命令
sh deploy_python3.sh python3
安装完成,会给出提示信息:python3.7服务安装完成,及安装版本,python3模块信息。
5.6.部署采集监控信息
该步骤完成python3程序自动部署环境初始化和启动监控信息采集脚本,原则上只执行一次,可执行多次。
安装只需要集成脚本提供的函数,完成自动部署,过程大约3分钟,仅做参考,依网速快慢而定。
# 自动部署命令
sh deploy_python3.sh process
部署完成,会给出提示信息:python3程序部署完成。
5.7.程序启动或停止
启动或停止命令不限次调用,按需调用。
# 启动
sh deploy_python3.sh start
# 停止
sh deploy_python3.sh stop