简介
安装Pycharm 【这是比较推荐的IDE】
我使用的是2018版本:
输入图片说明
安装 Virtualenv
直接参考之前的文档即可:https://www.jianshu.com/p/58760a582e72
Virtualenv 基本使用
查找python 的应用目录:/usr/bin/python2 和 /usr/bin/python3
输入图片说明
新建立 test-python 目录,然后在这个目录里面做测试 cd test-python
# 新建立虚拟环境
virtualenv -p /usr/local/bin/python3.6 venv
建立后大概这个样子:
输入图片说明
启动虚拟环境 source ./venv/bin/activate source命令的作用是在当前bash环境下读取并执行duFileName中的命令。
然后可以通过 deactivate 退出虚拟环境,注意 deactivate 是虚拟环境中的一个命令。
输入图片说明
然后我们还可以创建一个2.7的项目 virtualenv -p /usr/bin/python2 venv2
启动python 2.7项目,启动方法同上面是一样的 source ./venv2/bin/activate
输入图片说明
安装Virtualenv的管理工具 Virtualenvwrapper
pip install virtualenvwrapper 安装过程一般来讲比较顺利
# 如果缺少 pytest-cov 或者 pytest-filter 直接安装即可,一遍过的可以忽略这里。
pip install -i https://pypi.douban.com/simple pytest-cov
pip install -i https://pypi.douban.com/simple pytest-filter-subpackage
image.png
说实话我的安装好像有点问题,直接安装到 anaconda3/bin 下面去了,要不是find了一下还真找不到。find ~/ -name virtualenvwrapper.sh
输入图片说明
修改 vim ~/.bash_profile 末尾加入:
# >>> linhai add workon >>>
# 这个目录注意一定要和 virtualenvwrapper 的相关目录一直否则会报错的,我的安装到 anaconda3下面了将错就错吧,我也无所谓了。
VIRTUALENVWRAPPER_PYTHON=/Users/apple/opt/anaconda3/bin/python3
export VIRTUALENVWRAPPER_VIRTUALENV=/usr/local/bin/virtualenv
export WORKON_HOME=$HOME/Desktop/coding/git-fiels/jk-python/codes
source /Users/apple/opt/anaconda3/bin/virtualenvwrapper.sh
# <<< linhai add workon <<<
让文件生效 source ~/.bash_profile
输入 workon --help 如果出现帮助信息表示安装成功了。
通过 mkvirtualenv 创建python 虚拟开发环境
mkvirtualenv python_def,通过 python --version 可以看出默认创建的是 2.7的环境
输入图片说明
mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 python_3x 通过命令创建一个3.x版本的环境
输入图片说明
上面完全试验成功了,相对来讲好用多了,当前目录结构如下: deactivate; ls codes
然后我们还可以通过 workon 命令直接查看所辖的项目,当然为了管理方便最好还是需要进行代码的git管理的。
输入图片说明
接下来建立一个简单scrapy 项目,用来串联所有的环境使用。
mkvirtualenv -p /Users/apple/opt/anaconda3/bin/python3 test-scrapy 生成一个测试项目。
我的项目目录是:/Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/
输入图片说明
用 pycharm 打开目录 /Users/apple/Desktop/coding/git-fiels/jk-python/codes/test-scrapy/ 打开后发现直接就在虚拟环境中了,如果没在可以通过workon 命令进入
输入图片说明
安装 scrapy pip install -i https://pypi.douban.com/simple scrapy,然后查看版本,有信息表示成功。
输入图片说明
创建一个名称叫做 cnblog 的项目scrapy startproject cnblog
输入图片说明
接下来生成一个爬虫文件
cd cnblog/
scrapy genspider cnblogs www.cnblogs.com
输入图片说明
如上创建后项目目录树中显示如下图:
输入图片说明
设置虚拟环境到 pycharm IDE中,File-Preferences 搜索 interpreter 找到对应项目 test-scrapy 的设置,实时上我的IDE直接识别了,非常Nice
输入图片说明
新建 main.py 内容如下:
from scrapy.cmdline import execute
import sys
import os
# print("#########")
# print( os.path.dirname(os.path.abspath(__file__)) )
# 目的是把当前的目录加入环境变量
sys.path.append(os.path.dirname(os.path.abspath(__file__)))
# 执行爬虫
execute(["scrapy", "crawl", "cnblogs"])
输入图片说明