Windows常用爬虫库的安装

之前安装过python3.8了,这里不在赘述,只是说说一些常用的库和其环境的安装

一、requests 库

pip install requests

依赖库【会自动安装】:urllib3,idna,chardet,certifi
验证安装:

pip list

在这里插入图片描述

二、selenium 部署

Selenium是自动化测试工具,可以驱动浏览器执行操作

1、selenium

pip install selenium

2、Chorme浏览器

离线安装包下载地址:https://www.google.com/intl/zh-CN/chrome/?standalone=1
查看版本:

chrome://version/

在这里插入图片描述

3、ChormeDriver

在这里找到和浏览器相同的版本:http://npm.taobao.org/mirrors/chromedriver/

在python终端输入以下命令查看安装路径:

import sys
sys.path

在这里插入图片描述
将下载解压后的chromedriver.exe放到python.exe同一路径下:
在这里插入图片描述

4、验证安装

输入这个能自动打开浏览器就没问题:

from selenium import webdriver
webdriver.Chrome()

三、scrapy库

如果直接

pip install scrapy

会报错:
在这里插入图片描述
所以我们手动安装whl文件,在https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted下载:
这里的cp就是python的版本。
在这里插入图片描述
下载完成后pip install 文件路径进行安装:
在这里插入图片描述
然后重新pip install scrapy:
在这里插入图片描述
搞定!

别的PhantomJS,数据库,Charles暂时不说了,之后学到再来补充。

©️2020 CSDN 皮肤主题: 技术黑板 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值