# -*- coding: utf-8 -*- # url为 伯乐在线文章首页 import sys import requests from lxml import etree import random import codecs reload(sys) sys.setdefaultencoding("utf-8") def download_page(url): user_agent_list = [ "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:54.0) Gecko/20100101 Firefox/54.0", "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60", "Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0 Opera 9.50",
xpath爬取首页信息,并获取详情页标题与时间
最新推荐文章于 2024-04-21 15:05:18 发布
这段代码展示了如何利用Python的requests和lxml库,配合XPath表达式,从伯乐在线文章首页抓取文章链接、图片源,并进一步获取详情页的标题和发表时间。通过设置不同的User-Agent来模拟浏览器行为,防止被网站屏蔽。程序遍历首页多个页面,对每个文章条目进行解析和内容提取。
摘要由CSDN通过智能技术生成