用python.xpath爬取猫眼电影

网页分析，我们需要的内容都在dd标签里面

直接上码

import requests  #爬虫基本模块
from parsel import Selector  #从网页中提取数据
import csv



# 得到指定一个url的网页内容
def getOnepage(url):
    headers={
        "User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.132 Safari / 537.36"
    }
    # 发送请求,得到响应
    response =requests.get(url,headers=headers)
    return response.text  #文本
# 解析一页的数据
def parseOnepage (res):
    selectors = Selector(text=res) #网页初始化 进入html页面
    selectors =selectors.xpath('//dl/dd')#进入所有dd标签
    for selector in selectors:
        title = selector.xpath('./a/@title').get()
        img = selector.xpath('.//img/@data-src').get()
        star = selector.xpath('.//p[@class="star"]/text()').get().strip()