数据爬取与可视化技术——使用XPath和lxml库爬取、解析、提取数据

最新推荐文章于 2024-05-18 14:56:47 发布
最新推荐文章于 2024-05-18 14:56:47 发布
阅读量967 收藏 23
点赞数 22
分类专栏： 数据爬取与可视化技术 文章标签： 爬虫 网络爬虫 python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52784450/article/details/136750667
版权

xcx：什么是XPath？

shy：XPath即为XML路径语言，用于确定XML树结构中某一部分的位置。XPath技术基于XML的树结构，能够在树结构中遍历节点（元素、属性等）。

hwjw：什么是lxml库？

shy：lxml是以Python语言编写的库，主要用于解析和提取HTML或者XML格式的数据，可以利用XPath语法进行快速地定位特定的元素或节点。

文章目录

描述：

使用XPath和lxml库对京东笔记本数据进行爬取、解析和提取。基础url：https://list.jd.com/list.html?cat=670%2C671%2C672&page=1

任务一：

修改贴吧数据获取程序，使得程序能爬取到京东笔记本数据，将数据打印到屏幕上。

提示：

原程序无法爬取京东数据，分析得知须在headers中添加"cookie",如

headers = {"User-Agent": "……",
	       "cookie": "……"
  		 }
Code:
import urllib.request
import urllib.parse
import time


def load_page(url, filename):
    '''
    作用:根据url发送请求，获取服务器响应文件
    url：需要爬取的url地址
    1、定义headers
    2、定义request
    3、获得response
    4、返回内容
    '''
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36",
        "Cookie": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
        } # 此处放入自己的Cookie
    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    # print(response.read())
    return response.read().decode("utf-8")


def tieba_spider():
    url = "https://list.jd.com/list.html?cat=670%2C671%2C672&page=1"
    html = load_page(url, "")
    print(html)


if __name__ == "__main__":
    tieba_spider()



代码分析：

  1. 导入模块：首先导入了urllib.request和urllib.parse模块，用于发送 HTTP 请求和解析 URL。

  2. 定义load_page函数：这个函数的作用是发送请求并获取服务器响应的文件内容。

    • 接受两个参数 url 和 filename，其中 url 是需要爬取的网页地址，filename 没有被使用。
    • 定义了一个字典类型的 headers，其中包含了 User-Agent 和 Cookie 等信息，模拟浏览器的请求。
    • 使用 urllib.request.Request() 构造了一个请求对象 request，将 url 和 headers 传递给它。
    • 通过 urllib.request.urlopen() 发送了请求，并将响应保存在 response 中。
    • 最后通过 response.read().decode("utf-8") 读取响应内容，并以 UTF-8 编码解码为字符串，并返回。

  3. 定义tieba_spider函数：这个函数是整个爬虫的入口函数。

    • 定义了 url 变量，指定要爬取的京东商品列表页面的 URL。
    • 调用了 load_page 函数，将 url 作为参数传入，并将返回的 HTML 内容保存在 html 变量中。
    • 最后打印出获取到的 HTML 内容。

  4. 入口点判断：if __name__=="__main__": 语句判断是否以主程序方式执行。

    • 如果是，则调用 tieba_spider() 函数开始执行爬取。

这段代码实际上是一个简单的示例，只是简单地发送了一个 HTTP 请求，获取了页面内容，并打印出来。在实际的爬虫中，还需要考虑异常处理、数据解析、存储等更多的功能。

任务二：

分析html，找到商品名称、商品价格和商品配置的XPath，编写程序，使用lxml库实现对数据的提取。将数据组合成item，并输出到屏幕上。

Code:
import urllib.request
import urllib.parse
import time
from lxml import etree


def load_page(url, filename):
    '''
    作用:根据url发送请求，获取服务器响应文件
    url：需要爬取的url地址
    1、定义headers
    2、定义request
    3、获得response
    4、返回内容
    '''
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36",
        "Cookie": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
    } # 此处放入自己的Cookie
    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    # print(response.read())
    return response.read().decode("utf-8")


def parse_page(html):
    # 商品名称： //*[@id="J_goodsList"]/ul/li[1]/div/div[3]/a/em/text()
    # 商品价格：//*[@id="J_goodsList"]/ul/li[1]/div/div[2]/strong/i/text()
    # 商品配置：//*[@id="J_goodsList"]/ul/li[1]/div/div[3]/span/span/b/text()
    root = etree.HTML(html)
    name = root.xpath('//*[@id="J_goodsList"]/ul/li[1]/div/div[3]/a/em/text()')
    price = root.xpath('//*[@id="J_goodsList"]/ul/li[1]/div/div[2]/strong/i/text()')
    attr = root.xpath('//*[@id="J_goodsList"]/ul/li[1]/div/div[3]/span/span/b/text()')
    # print(name)
    # print(price)
    # print(attr)
    item = {"商品名称": name, "商品价格": price, "商品配置": attr}
    print(item)


def tieba_spider():
    url = "https://list.jd.com/list.html?cat=670%2C671%2C672&page=1"
    html = load_page(url, "")
    # print(html)
    parse_page(html)


if __name__ == "__main__":
    tieba_spider()

代码分析：

  1. 导入模块：导入了urllib.request、urllib.parse、time和etree模块。urllib.request和urllib.parse用于发送 HTTP 请求和解析 URL，time用于时间相关操作，etree用于解析 HTML。

  2. 定义load_page函数：发送请求并获取服务器响应的文件内容。

    • 接受两个参数 url 和 filename，其中 url 是需要爬取的网页地址，filename 没有被使用。
    • 定义了一个字典类型的 headers，其中包含了 User-Agent 和 Cookie 等信息，模拟浏览器的请求。
    • 使用 urllib.request.Request() 构造了一个请求对象 request，将 url 和 headers 传递给它。
    • 通过 urllib.request.urlopen() 发送了请求，并将响应保存在 response 中。
    • 最后通过 response.read().decode("utf-8") 读取响应内容，并以 UTF-8 编码解码为字符串，并返回。

  3. 定义parse_page函数：解析 HTML 页面，提取商品信息。

    • 使用 etree.HTML() 将 HTML 字符串解析为 etree 对象。
    • 使用 XPath 表达式提取商品名称、价格和配置信息。
    • 将提取到的信息封装成字典 item。

  4. 定义tieba_spider函数：爬虫的入口函数。

    • 定义了 url 变量，指定要爬取的京东商品列表页面的 URL。
    • 调用了 load_page 函数，将 url 作为参数传入，并将返回的 HTML 内容保存在 html 变量中。
    • 调用 parse_page 函数，将 html 作为参数传入，解析页面内容。

  5. 入口点判断：if __name__=="__main__": 语句判断是否以主程序方式执行。

    • 如果是，则调用 tieba_spider() 函数开始执行爬取。

任务三：

改进任务2的代码，使代码具有一定的通用性，用户输入爬取的起始页码、终止页码，提取范围内所有商品信息，将每页数据组合成items，并输出到屏幕。

Code:
import urllib.request
import urllib.parse
import time
from lxml import etree


def load_page(url, filename):
    '''
    作用:根据url发送请求，获取服务器响应文件
    url：需要爬取的url地址
    1、定义headers
    2、定义request
    3、获得response
    4、返回内容
    '''
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/106.0.0.0 Safari/537.36",
        "Cookie": "xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
    } # 此处放入自己的Cookie
    request = urllib.request.Request(url, headers=headers)
    response = urllib.request.urlopen(request)
    # print(response.read())
    return response.read().decode("utf-8")


def parse_page(html):
    # 商品名称： //*[@id="J_goodsList"]/ul/li[1]/div/div[3]/a/em/text()
    # 商品价格：//*[@id="J_goodsList"]/ul/li[1]/div/div[2]/strong/i/text()
    # 商品配置：//*[@id="J_goodsList"]/ul/li[1]/div/div[3]/span/span/b/text()
    root = etree.HTML(html)
    lis = root.xpath('//*[@id="J_goodsList"]/ul/li')
    # print(len(lis))
    items = []
    for i in range(1, len(lis) + 1):
        name = root.xpath('//*[@id="J_goodsList"]/ul/li[' + str(i) + ']/div/div[3]/a/em/text()')
        price = root.xpath('//*[@id="J_goodsList"]/ul/li[' + str(i) + ']/div/div[2]/strong/i/text()')
        attr = root.xpath('//*[@id="J_goodsList"]/ul/li[' + str(i) + ']/div/div[3]/span/span/b/text()')
        # print(i)
        # print(name)
        # print(price)
        # print(attr)
        item = {"商品名称": name, "商品价格": price, "商品配置": attr}
        items.append(item)
    print(items)


def tieba_spider(begin, end):
    url = "https://list.jd.com/list.html?cat=670%2C671%2C672&page="
    for i in range(int(begin), int(end) + 1):
        pageurl = url + str(i)
        print(pageurl)
        html = load_page(pageurl, "")
        # print(html)
        parse_page(html)


if __name__ == "__main__":
    begin = input("请输入起始页码：")
    end = input("请输入结束页码：")
    tieba_spider(begin, end)



代码分析：

  1. 导入模块：导入了urllib.request、urllib.parse、time和etree模块。urllib.request和urllib.parse用于发送 HTTP 请求和解析 URL，time用于时间相关操作，etree用于解析 HTML。

  2. 定义load_page函数：发送请求并获取服务器响应的文件内容。

    • 接受两个参数 url 和 filename，其中 url 是需要爬取的网页地址，filename 没有被使用。
    • 定义了一个字典类型的 headers，其中包含了 User-Agent 和 Cookie 等信息，模拟浏览器的请求。
    • 使用 urllib.request.Request() 构造了一个请求对象 request，将 url 和 headers 传递给它。
    • 通过 urllib.request.urlopen() 发送了请求，并将响应保存在 response 中。
    • 最后通过 response.read().decode("utf-8") 读取响应内容，并以 UTF-8 编码解码为字符串，并返回。

  3. 定义parse_page函数：解析 HTML 页面，提取商品信息。

    • 使用 etree.HTML() 将 HTML 字符串解析为 etree 对象。
    • 使用 XPath 表达式提取商品名称、价格和配置信息。
    • 将提取到的信息封装成字典 item。
    • 将多个商品字典存入列表 items 中，并打印出来。

  4. 定义tieba_spider函数：爬虫的入口函数。

    • 接受两个参数 begin 和 end，分别表示起始页码和结束页码。
    • 循环遍历从起始页码到结束页码的每一页，构造相应的页面 URL。
    • 调用 load_page 函数，将页面 URL 作为参数传入，并将返回的 HTML 内容保存在 html 变量中。
    • 调用 parse_page 函数，将 html 作为参数传入，解析页面内容。

  5. 入口点判断：if __name__=="__main__": 语句判断是否以主程序方式执行。

    • 如果是，则获取用户输入的起始页码和结束页码，调用 tieba_spider() 函数开始执行爬取。

如何查找自己的Cookie

  • 首先，登录京东商城。
  • F12，打开开发者模式
  • 点击网络
  • 查看自己Cookie
    在这里插入图片描述
HUAYI_SUN
关注
  • 22
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
python数据爬取美食网站xpath解析并将美食数据存入csv文件按照人气数据分析可视化
07-04
数据处理：代码使用lxml库对HTML内容进行解析，使用XPath表达式提取美食的名称、人气、评论、发布者和图片等信息。同时，对评论和人气数据进行处理，使用正则表达式匹配并提取出数字内容。 存储到CSV文件：代码在...
爬虫动态爬取京东商品的数据
一步一脚印
11-12 2615
动态爬取京东导入包对DataFrame处理评论处理查询的网页爬取过程关闭浏览器 导入包 from time import sleep from selenium import webdriver import pandas as pd from urllib.parse import quote import re from datetime import datetime 对DataFrame处理 pd.set_option('display.max_columns', None) pd.set_op
数据采集与预处理之xpath爬取豆瓣电影新片榜信息(爬取代码+可视化大屏+数据爬取csv文件)
04-11
1、数据采集与预处理是数据分析的关键步骤，其中爬取特定网站的信息是常见的需求。2、XPath是一种在XML文档中查找信息的语言，可用来在XML...（可结合博客文章《数据采集与预处理之xpath爬取豆瓣电影新片榜信息》使用）
python 使用xpath/lxml爬取网页表格并存CSV
12-22
0x02 爬取代码 # -*- coding: utf-8 -*-# #------------------------------------------------------------------------------- # Name: test # Author: Negoowen # Date: 2020/3/9 __Author__ = 'Negoo_wen' #-----...
爬虫_数据提取值xpath和lxml模块学习
09-28
爬虫数据提取知识视频，超详细的数据提取值xpath和lxml模块学习，瞬间学会数据提取
爬虫项目，爬取链家数据+python可视化.zip
01-19
其主要功能是访问网页、提取数据并存储，以便后续分析或展示。爬虫通常由搜索引擎、数据挖掘工具、监测系统等应用于网络数据抓取的场景。 爬虫的工作流程包括以下几个关键步骤： URL收集： 爬虫从一个或多个初始...
python爬虫[简易版]
Gavin
05-15 273
接下来就是分析返回的数据,解析数据~拿出图片的url。第一步:打开网站,分析图片的数据源来自哪里,发现我们要的数据原来自这里,
Python爬虫项目实战：英雄皮肤图片批量采集
weixin_53707653的博客
05-16 212
这里有个问题，img标签的src属性字符串中，英雄图片的url地址不全，需要在提取出来的字符串前面拼接‘https:’字符串。把请求的结果text改content.decode(‘gbk’)的编码方式就可以，PyCharm默认是utf-8的编码方式，编解码不一致就会导致出现乱码的情况。拿到数据之后，对数据进行筛选，数据筛选有两种常见的方式，正则表达式和xpath语法筛选数据的方式。确定好了这些问题，就可以写代码了，在发起请求拿到了数据之后，发现拿到的数据结果是乱码，是有编码问题引起的。
Python爬虫——如何使用urllib的HTTP基本库
C1356498720的博客
05-14 778
robots.txt。
【爬虫之scrapy框架——尚硅谷(学习笔记two)--爬取电影天堂（基本步骤）】
weixin_45753504的博客
05-14 424
爬取电影天堂数据
AI网络爬虫：用kimichat自动批量提取网页内容
AIGCTribe的博客
05-14 1099
在源代码中定位class="layoutkit-flexbox css-o3n4io acss-pl6lf1"的h2标签，提取其文本内容作为提示词简介，写入”提示词.xlsx”这个Excel文件的第2列，列的标头为：提示词简介；在源代码中定位class="acss-7ksih7"的div标签，提取其全部文本内容作为提示词内容，写入”提示词.xlsx”这个Excel文件的第3列，列的标头为：提示词内容；ws.append(['提示词标题', '提示词简介', '提示词内容'])
基于Python的新浪微博爬虫程序设计与实现
No_Name_Cao_Ni_Mei的博客
05-14 398
本文以《基于Python的新浪微博爬虫程序设计与实现》为题，针对现今社交媒体平台微博的广泛使用，探讨了利用Python语言设计和实现新浪微博爬虫程序的方法和技巧。首先介绍了微博爬虫的背景和意义，明确了该程序在信息采集、舆情分析、社交网络分析等方面的重要作用。接着，论文详细阐述了基于Python的新浪微博爬虫程序的设计思路和实现步骤。通过分析微博网页的结构，从登录账号、获取访问权限、模拟用户操作等多个方面，提出了一套高效、稳定的爬虫程序设计方案。
爬虫工作量由小到大的思维转变---＜第七十六章 ＞ Scrapy爬虫引入Item Drop机制的概念及其价值
晦涩难董先生
05-16 1152
在Scrapy框架中，DropItem机制提供了一种有效的数据过滤和控制方式。具体来说，它是一种基于条件的数据丢弃机制，用于在数据处理流程中筛选出不需要的Item。当爬虫抓取到数据后，数据会被封装成Item的形式，在数据流经Scrapy的处理流程时，我们可以根据不同的需求对这些Item进行检查，并决定哪些Item应当继续被处理，哪些应当被丢弃。在技术实现上，DropItem是通过在Item Pipeline中抛出DropItem异常来完成的。
谷歌蜘蛛池是什么？
最新发布
m0_75172622的博客
05-18 93
爬虫池的运作原理基于创建大量的网站（站群），这些网站通过内部链接（内链）和与其他网站的外部链接（外链）构成一个错综复杂的网络，这样的设置有助于吸引谷歌的爬虫程序，这些程序是谷歌用来索引互联网内容的自动化工具，通过这种方式，爬虫在访问和索引这些网站时，会认为这些内容是重要或受欢迎的，从而可能提高这些网站在搜索结果中的位置。
全面解析動態代理IP的具體用途
ecommerce_Amazon的博客
05-14 215
全面解析動態代理IP的具體用途。
爬虫：豆瓣top250+可视化图
y662225dd的博客
05-16 298
【代码】爬虫：豆瓣top250+可视化图。
利用Python爬虫抓取小说并保存至本地
qq_43580271的博客
05-14 462
Python 爬虫是一种自动化工具，可以模拟浏览器行为，从网页上抓取数据。在本文中，我们将使用 Python 的 requests、parsel 和 tqdm 库来实现小说内容的抓取和保存。本文介绍了如何使用 Python 爬虫从指定网站上抓取小说内容，并保存至本地文件。通过学习本文，你可以掌握使用 Python 爬虫进行数据采集的基本方法，以及如何处理抓取到的数据内容。当然，在实际应用中，你还可以根据需求对代码进行进一步的优化和扩展，以满足更多的功能需求。
爬虫工程师---如何用charles把scrapy的爬虫监控起来调试
晦涩难董先生
05-17 332
想法是,通过charles挂上'魔法工具',然后跑代码的时候,实时监控每一个访问的请求状态和返回是个啥?原理其实和挂手机等一样的;但是,我想说的,让scrapy挂上charles...
怎么采用lxml库和xpath解析数据
05-27
使用lxml库和XPath解析数据的基本步骤如下： 1. 导入lxml库和etree模块： ```python from lxml import etree ``` 2. 创建一个Element对象，可以通过解析XML或HTML文档得到： ```python html = etree.parse(...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

HUAYI_SUN

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值