基于Windows爬虫开发环境搭建
1.Python3的安装
1.1 安装包的下载python3.7
1.2 安装勾选Add Python 3.7 to PATH 自动配置环境变量。
1.3 测试验证
2. 创建Virtualenv爬虫虚拟环境
2.1 为了项目整洁最好给每个项目各自创建一个独立的python虚拟环境,不使用Anaconda是因为它太过繁重。
2.2 在命令行工具中输入 pip install virtualenv 下载 python 虚拟环境.
2.3 下载virtualenvwrapper-win 包管理虚拟环境,之后可以用workon进入虚拟环境。
2.4 修改虚拟环境存放的路径:在系统环境变量,添加WORKON_HOME为指定路径,当然也可以使用默认路径。
2.5. 创建虚拟环境:mkvirtualenv -p指定版本 虚拟环境名称
2.6 之后便可以使用虚拟环境了
3. 安装请求库
3.1 requests安装:pip install requests
3.2 selenium安装:pip install selenium
3.4 ChromeDriver 的安装:
- 3.4.1 检查Chrome的版本
- 3.4.2 找到chrome支持的chromedriver版本,我的版本是70,所以我选择2.43
- 下载解压到虚拟环境中
- 验证安装
4. 解析库的安装
4.1 lxml安装:pip install lxml
4.2 beautiful soup安装: pip install beautifulsoup4
4.3 pyquery 安装:pip install pyquery
5. 存储库安装
5.1 pymysql安装:pip install pymysql
5.2 pymono安装:pip install pymono
5.3 redis安装:pip install redis
6.爬虫框架安装
6.1 pyspider安装:pip install pyspider
6.2 Scrapy的安装
- 6.2.1安装pyOpenSSL,官网下载
- 6.2.2 执行pip install pyOpenSSL-18.0.0-py2.py3-none-any.whl即可
- 6.2.3 安装Twisted 官网下载
- 6.2.4 执行pip install Twisted‑18.9.0‑cp37‑cp37m‑win_amd64.whl
- 6.2.5 安装pywin32官网下载
- 6.2.6 下载完毕双击安装即可
- 6.2.7 pip install scrapy
- scrapy-redis 安装pip install scrapy-redis
好了,到这里基本库就安装完了,后续依需要安装。