python爬虫实战-爬取笑话大全并保存至本地（xpath）

最新推荐文章于 2024-03-18 09:11:52 发布

hoochon

最新推荐文章于 2024-03-18 09:11:52 发布

阅读量1.2k

点赞数 2

分类专栏： python实战文章标签： python 爬虫

本文链接：https://blog.csdn.net/hoochon/article/details/87893293

版权

本文介绍如何使用Python爬虫技术，结合XPath解析，从在线笑话大全网站抓取内容，并将其完整保存到本地文件中，为Python初学者提供实践指导。

摘要由CSDN通过智能技术生成

python爬虫实战-爬取笑话大全并保存至本地（xpath）

import urllib.parse
import urllib.request
from lxml import etree
import time
import json

item_list=[]
def handle_request(url,page):
	headers={
   
		'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36',
	}
	# 拼接url
	# url=url % page
	url=url.format(page)
	request=urllib.request.Request(url=url,headers=head