Python 爬虫框架安装

打算爬点网络上的资源

斟酌了一下，还是决定用 scrapy

准备：win10 64位 、Python 3.8

一、安装 Python

官网：https://www.python.org/downloads/release/python-380/
注意：安装记得勾上pip，以及将python的安装路径加入环境变量中（这个也有选项，勾上就行）

二、安装 Scrapy前

S1：pip 国内镜像

【临时】pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package

【永久】pip config set global.index-url https://pypi.tuna.tsinghua.edu.cn/simple

详细参见：https://mirrors.tuna.tsinghua.edu.cn/help/pypi/

S2：安装wheel

pip install wheel

S3：手动下载 .whl 文件：

https://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml
https://www.lfd.uci.edu/~gohlke/pythonlibs/#pywin32
https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
注意：要下载对应安装的python版本的，本例安装的是python3.8.0[64位]，所以下载的.whl文件全部是 xxx‑cp38‑cp38‑win_amd64.whl

S4：安装 .whl 文件：

1. 切换到 xxx.whl 所在的目录
2. pip install xxx.whl

三、安装 Scrapy

pip install scrapy

四、验证

scrapy version

正常显示已安装版本，则安装完成。

五、安装 Pycharm

(此处略.)

现在开始使用pycharm开发工具进行 .py 文件的正常开发了
此处附上下载链接 点此去下载吧