2301_76282650的博客

原创 selenium + 异步爬取豆瓣阅读

selenium模拟采集url，返回的数据是一个列表，每20个url为一个元素，方便后面进行异步操作。注意：1.代码运行过程中如果停止那么信息会全部丢失，前功尽弃，可以通过修改循环次数来控制爬取量。这是包含书本链接url的负载 ，如果有大佬可以逆向出来，就可以不用selenium。2.还是会有封ip的风险，如果没有爬过豆瓣的可以一次性爬完，可以加代理ip。前几天爬取豆瓣的时候，以为豆瓣是没有反爬的，直到碰到了豆瓣阅读...本人爬虫萌新，纯粹练手，如有侵权请告知，希望大佬们多提建议。我加了一个运行时间显示。