python爬虫爬取网页时翻页只能翻出一页_python爬虫网页,为啥始终无法爬出翻页的内容?...

在尝试使用Python爬虫抓取网页时,遇到一个问题,无论怎么翻页,总是只获取到第一页的内容。代码中定义了get_one_page函数获取HTML,parse_one_page解析页面,提取电影名和演员信息,并存储到文件。主要问题可能在于URL构造或请求方法上,导致无法成功获取后续页面的数据。
摘要由CSDN通过智能技术生成

爬出来始终是第一页的内容

import requests

from requests.exceptions import RequestException

from pyquery import PyQuery as pq

import re

import simplejson as json

def get_one_page(url):

try:

response=requests.get(url)

if response.status_code==200:

return response.text

except RequestException:

return None

def parse_one_page(html):

doc = pq(html)

movie=doc('.video_item .sort_lst_tit').text()

actor=doc('.video_item .sort_lst_txt')

actor_list=[]

for items in actor.items():

# 遍历获取到的pyquery对象

item_i="".join(((items.text()).strip()[3:])).split()

item_ii=",".join(item_i)

#去掉空格,并传入list中

actor_list.append(item_ii)

movie_list=movie.split(' ')

# 将电影列表整理成列表

for it

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值