基于lxml模块中xpath方法解析网页

最新推荐文章于 2022-08-16 12:57:27 发布

KirotoTang

最新推荐文章于 2022-08-16 12:57:27 发布

阅读量248

点赞数

本文链接：https://blog.csdn.net/KirotoTang/article/details/115774148

版权

本文介绍如何利用Python的lxml模块和xpath方法解析网页，结合User_Agent随机生成请求头进行网络请求，同时使用pprint模块美化输出结果。示例中展示了User_Agent文件的源码，用于在请求时改变User-Agent。

摘要由CSDN通过智能技术生成

基于lxml模块中xpath方法解析网页

导入模块
函数
主函数

导入模块

import requests
from lxml import etree
import User_Agent
import pprint

我增加了User_Agent程序文件的导入，User_Agent程序文件需要和改程序文件在同一目录下，它可以随机生成一个请求头！（书写该文件受到一位前辈的启发）
我增加pprint文件是为了格式化输出最终的数据文件，pprint模块支持格式化输出列表，字典等类型的数据！
下面附上User_Agent文件源码：

import random

user_agent = [
“Mozilla/5.0 (Macintosh; U; Intel Mac OS X 10_6_8; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,
“Mozilla/5.0 (Windows; U; Windows NT 6.1; en-us) AppleWebKit/534.50 (KHTML, like Gecko) Version/5.1 Safari/534.50”,
“Mozilla/5.0 (Windows NT 10.0; WOW64; rv:38.0) Gecko/20100101 Firefox/38.0”,
“Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; .NET4.0C; .NET4.0E; .NET CLR 2.0.50727; .NET CLR 3.0.30729; .NET CLR 3.5.30729; InfoPath.3; rv:11.0) like Gecko”,
“Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)”,
“Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.0; Trident/4.0)”,
“Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)”,
“Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)”,
“Mozilla/5.0 (Macintosh; Intel Mac OS X 10.6; rv:2.0.