网页分析,我们需要的内容都在dd标签里面
直接上码
import requests #爬虫基本模块
from parsel import Selector #从网页中提取数据
import csv
# 得到指定一个url的网页内容
def getOnepage(url):
headers={
"User-Agent": "Mozilla / 5.0(Windows NT 10.0;WOW64) AppleWebKit / 537.36(KHTML, like Gecko) Chrome / 80.0.3987.132 Safari / 537.36"
}
# 发送请求,得到响应
response =requests.get(url,headers=headers)
return response.text #文本
# 解析一页的数据
def parseOnepage (res):
selectors = Selector(text=res) #网页初始化 进入html页面
selectors =selectors.xpath('//dl/dd')#进入所有dd标签
for selector in selectors:
title = selector.xpath('./a/@title').get()
img = selector.xpath('.//img/@data-src').get()
star = selector.xpath('.//p[@class="star"]/text()').get().strip()