Spider学习笔记（十二）：爬取迷你MP4电影信息（翻页数据爬取）

最新推荐文章于 2023-06-27 18:23:08 发布

小火skr车

最新推荐文章于 2023-06-27 18:23:08 发布

阅读量500

点赞数

分类专栏： Spider 文章标签： spider

本文链接：https://blog.csdn.net/xiaohuoche175/article/details/82842038

版权

本文记录了使用Python爬虫进行迷你MP4电影信息的爬取过程，详细讲解了如何处理网页翻页，获取多页数据的关键技巧。通过实例，展示了网络请求和解析HTML的实现细节。

摘要由CSDN通过智能技术生成

import requests
import lxml
from lxml import etree


headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.3396.99 Safari/537.36"
}


#拿类别名称
def getcategory(url):
    response = requests.get(url,headers=headers)
    html = response.content.decode('utf-8')
    # print(html)
    mytree = lxml.etree.HTML(html)
    categoryList = mytree.xpath('/html/body/div[2]/div/div[1]/div[1]/table/tbody/tr[4]/td[2]/a/text()')
    categoryList.pop(0)
    return categoryList


#拿类别的页数
def getpagenum(url):
    response = requests.get(url,headers=headers)
    html = response.content.decode('utf-8')
    mytree = lxml.etree.HTML(html)
    pagenum = mytree.xpath('/html/body/div[2]/div/div[2]/ul/li[last()]/a/@data-ci-pagination-page')[0]
    return pagenum


#拿详情页的url
def getpage(url):
    pagelist &#