我们通常使用scrapy来进行一些接口信息读取,数据收集
以常用的requests模块举例:
对于一些安全性较高的接口 ,我们在获取数据时需要先进性UA伪造,有的还会验证防盗链,需要对http的基础知识有一定的了解
对于selenium而言,它在获取数据时考虑的不是接口,而是直接从网页上获取数据,操作依赖与网页上的各种元素,这要求我们对css js的基础有一定的了解selenium依赖与webdriver,根据我们的需要选择chrome或者IE等浏览器对应的webdriver
我们通常使用scrapy来进行一些接口信息读取,数据收集
以常用的requests模块举例:
对于一些安全性较高的接口 ,我们在获取数据时需要先进性UA伪造,有的还会验证防盗链,需要对http的基础知识有一定的了解
对于selenium而言,它在获取数据时考虑的不是接口,而是直接从网页上获取数据,操作依赖与网页上的各种元素,这要求我们对css js的基础有一定的了解selenium依赖与webdriver,根据我们的需要选择chrome或者IE等浏览器对应的webdriver