爬虫
p_xiaobai
这个作者很懒,什么都没留下…
展开
-
爬虫使用selenium时 Chrome对应webdriver版本
在使用selenium爬取数据时,要安装Chrome对应的webdriver,有时会找不到对应关系,所以在这记录一下Chrome版本和webdriver对应关系网址如下http://chromedriver.storage.googleapis.com/index.html1、按照上面的网址 找到对应的Chrome版本, 点进去下载对应系统的webdriver。2、把下载好的w...原创 2019-10-24 10:58:33 · 666 阅读 · 0 评论 -
Python爬虫实战项目之小说信息爬取
我们以奇书网为例进行爬取网址:https://www.qisuu.la一,先新建一个新的文件夹,名字自取,用于存放py文件和爬取的数据二,找到要爬取的网站的ur和你自己浏览器的请求头,(因为我是以奇书网为例,浏览器为火狐浏览器) url= ‘https://www.qisuu.la/soft/sort01/’ 请求头:‘User_Anger’: 'Moz...原创 2018-08-11 12:10:47 · 2465 阅读 · 0 评论 -
scrapy中禁止请求重定向
在settings里面设置一下REDIRECT_ENABLED = False原创 2019-03-04 10:35:00 · 9635 阅读 · 1 评论 -
python爬虫面试题
1,python 常用数据结构有哪些?请简要介绍一下。答:列表,元组,字典,集合等 列表:有序集合,可随时改变元素 元组:有序集合,一旦初始化,不可变 字典:无序集合,以key-value形式存储,key可为元组,字符串,整数等,不可重复,可随时更改 集合:无序集合,key储存,可随时增删查改2,简要描述 Python 中单引号、双引号、三引号的区别。...原创 2019-03-07 19:54:02 · 415 阅读 · 0 评论