一直有看到网上有讨论Python2和Python3的比较,最近公司也在考虑是否在spark-python大数据开发环境中升级到python3。通过本篇博文记录Python2.7.13和Pthon3.5.3的各方面比较。
环境配置
这里继续使用我们在之前博文里配置的环境。
因为是比较Python2和Python3差异,所以单纯升级Python版本无法解决,我通过pyenv和virtualenv两个工具来实现隔离的测试环境。
参考文档:使用pyenv和virtualenv搭建python虚拟环境、使用 pyenv 可以在一个系统中安装多个python版本
配置的步骤如下:
最开始是更新Tkinter,不然后续要重新再来一次,不要问我为什么知道...
sudo yum install tkinter -y
sudo yum install tk-devel tcl-devel -y
更新pyenv依赖软件
sudo yum install readline readline-devel readline-static -y
yum install openssl openssl-devel openssl-static -y
yum install sqlite-devel -y
yum install bzip2-devel bzip2-libs -y
下载安装pyenv,并下载python2.7.13和python3.5.3
git clone https://github.com/yyuu/pyenv.git ~/.pyenv
chgmod 777 -R ~/.pyenv
echo 'export PYENV_ROOT="$HOME/.pyenv"' >> ~/.bash_profile
echo 'export PATH="$PYENV_ROOT/bin:$PATH"' >> ~/.bash_profile
echo 'eval "$(pyenv init -)"' >> ~/.bash_profile
exec $SHELL
source ~/.bash_profile
pyenv install --list
pyenv install -v 2.7.13
pyenv install -v 3.5.3
下载安装pyenv-virtualenv,并安装两个隔离环境
git clone https://github.com/yyuu/pyenv-virtualenv.git ~/.pyenv/plugins/pyenv-virtualenv
echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bash_profile
source ~/.bash_profile
pyenv virtualenv 2.7.13 py2
pyenv virtualenv 3.5.3 py3
好,到此基本搞定两个隔离的python环境,测试如下,我们可以发现当前的python环境从centos7默认的2.7.5切换到2.7.13再切换到3.5。
[kejun@localhost ~]$ python -V
Python 2.7.5
[kejun@localhost ~]$ pyenv activate py2
(py2) [kejun@localhost ~]$ python -V
Python 2.7.13
(py2) [kejun@localhost ~]$ pyenv deactivate
[kejun@localhost ~]$ pyenv activate py3
(py3) [kejun@localhost ~]$ python -V
Python 3.5.
详细测试:
我们安装了常用的数据分析第三方工具包,并做了安装测试和样例测试,样例测试的脚本见最下。
分类
工具名
用途
数据收集
scrapy
网页采集,爬虫
数据收集
scrapy-redis
分布式爬虫
数据收集
selenium
web测试,仿真浏览器
数据处理
beautifulsoup
网页解释库,提供lxml的支持
数据处理
lxml
xml解释库
数据处理
xlrd
excel文件读取
数据处理
xlwt
excel文件写入
数据处理
xlutils
excel文件简单格式修改
数据处理
pywin32
excel文件的读取写入