这个爬虫为什么只能爬一页，而且为啥显示image没有被定义

最新推荐文章于 2023-03-21 14:02:51 发布

mieux52

最新推荐文章于 2023-03-21 14:02:51 发布

阅读量609

点赞数

文章标签： python

本文链接：https://blog.csdn.net/mieux52/article/details/128167035

版权

本文探讨了一个Python爬虫在抓取网页时遇到的问题，即为何只能抓取到第一页的数据。同时，分析了图片未被正确加载的原因，可能是由于缺失的引用或网络问题导致。通过检查请求头、解析HTML结构和处理异步加载内容，可以解决此类问题。

摘要由CSDN通过智能技术生成

from selenium import webdriver
from lxml import etree
from time import sleep
import re
import random
import time
import requests

from selenium.webdriver.common.by import By

from get_user_agent import get_user_agent_of_pc
from selenium.webdriver.common.service import  Service

def roll_down(chrome):
    for x in range(1, 11,3):
        time.sleep(random.random())
        j = x / 10
        js = "document.documentElement.scroll=document.documentElement.scrollHeight*%s" % j
        chrome.execute_script(js)




def parse_html(html):
    tree = etree.HTML(html)
    names = tree.xpath('//div[@id="J_goodsList"]/ul/li/div/div[3]/a/em')
    prices = tree.xpath('//div[@id="J_goodsList"]/ul/li/div/div[2]/strong/i/text()')
    shops = tree.xpath('//div[@id="J_goodsList"]/ul/li/div/div[5]/span/a/text()')
    hrefs = tree.xpath('//div[@id=&