前言
爬取豆瓣页面图片
一、简述
由于豆瓣直接去爬取,爬取到的页面和我们正常浏览的页面会不一样,我们需要的数据在requests请求返回的response中是“网页在加载中”,所以用到了selenium配合sleep来模拟正常浏览网页。
二、使用步骤
1.引入库
代码如下(示例):
from selenium import webdriver
from time import sleep
import pandas as pd
from lxml import etree
2.读入数据
代码如下(示