数据收集-数据提取

最新推荐文章于 2024-08-22 14:49:25 发布
最新推荐文章于 2024-08-22 14:49:25 发布
阅读量1.1k 收藏 2
点赞数 1
分类专栏： 爬虫 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/root1228544694/article/details/106584683
版权

数据提取

响应内容的分类

结构化的响应内容

  • json字符串
    • 可以使用re、json等模块来提取特定数据

xml字符串

  • 可以使用re、lxml等模块来提取特定数据

非结构化的响应内容

  • html字符串
    • 可以使用re、lxml等模块来提取特定数据

xml和html的区别

xml

xml是一种可扩展标记语言，样子和html很像，功能更专注于对传输和存储数据
在这里插入图片描述
xml内容可以表示为下面的树结构:
在这里插入图片描述

xml和html的区别

在这里插入图片描述

  • html：
    • 超文本标记语言
    • 为了更好的显示数据，侧重点是为了显示
  • xml：
    • 可扩展标记语言
    • 为了传输和存储数据，侧重点是在于数据内容本身

常用数据解析方法

在这里插入图片描述

jsonpath模块

jsonpath模块就能解决一个多层嵌套的复杂字典,批量提取value。jsonpath可以按照key对python字典进行批量数据提取

使用方法

  • jsonpath是第三方模块，需要额外安装
    pip install jsonpath

  • jsonpath模块提取数据的方法
    from jsonpath import jsonpath
    ret = jsonpath(a, ‘jsonpath语法规则字符串’)

  • jsonpath语法规则
    在这里插入图片描述

案例

book_dict = { 
  "store": {
    "book": [ 
      { "category": "reference",
        "author": "Nigel Rees",
        "title": "Sayings of the Century",
        "price": 8.95
      },
      { "category": "fiction",
        "author": "Evelyn Waugh",
        "title": "Sword of Honour",
        "price": 12.99
      },
      { "category": "fiction",
        "author": "Herman Melville",
        "title": "Moby Dick",
        "isbn": "0-553-21311-3",
        "price": 8.99
      },
      { "category": "fiction",
        "author": "J. R. R. Tolkien",
        "title": "The Lord of the Rings",
        "isbn": "0-395-19395-8",
        "price": 22.99
      }
    ],
    "bicycle": {
      "color": "red",
      "price": 19.95
    }
  }
}

from jsonpath import jsonpath

print(jsonpath(book_dict, '$..author')) # 如果取不到将返回False # 返回列表，如果取不到将返回False

在这里插入图片描述

练习

拉勾网城市JSON文件 http://www.lagou.com/lbs/getAllCitySearchLabels.json 为例，获取所有城市的名字的列表，并写入文件

import requests
import jsonpath
import json

# 获取拉勾网城市json字符串
url = 'http://www.lagou.com/lbs/getAllCitySearchLabels.json'
headers = {"User-Agent": "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0)"}
response =requests.get(url, headers=headers)
html_str = response.content.decode()

# 把json格式字符串转换成python对象
jsonobj = json.loads(html_str)

# 从根节点开始，获取所有key为name的值
citylist = jsonpath.jsonpath(jsonobj,'$..name')

# 写入文件
with open('city_name.txt','w') as f:
    content = json.dumps(citylist, ensure_ascii=False)
    f.write(content)

lxml模块和xpath语法

  • lxml模块可以利用XPath规则语法，来快速的定位HTML\XML 文档中特定元素以及获取节点信息（文本内容、属性值）
  • XPath (XML Path Language) 是一门在 HTML\XML 文档中查找信息的语言，可用来在 HTML\XML 文档中对元素和属性进行遍历。
  • 提取xml、html中的数据需要lxml模块和xpath语法配合使用

谷歌浏览器xpath helper插件

作用：在谷歌浏览器中对当前页面测试xpath语法规则

安装

  1. 下载Chrome插件 XPath Helper
    • 可以在chrome应用商城进行下载，如果无法下载，也可以从下面的链接进行下载
    • 下载地址：https://pan.baidu.com/s/1UM94dcwgus4SgECuoJ-Jcg 密码:337b
  2. 把文件的后缀名crx改为rar，然后解压到同名文件夹中
  3. 把解压后的文件夹拖入到已经开启开发者模式的chrome浏览器扩展程序界面
  4. 重启浏览器后，访问url之后在页面中点击xpath图标，就可以使用了
  5. 如果是linux或macOS操作系统，无需操作上述的步骤2，直接将crx文件拖入已经开启开发者模式的chrome浏览器扩展程序界面

xpath的节点关系

每个html、xml的标签都称之为节点，其中最顶层的节点称为根节点。以xml为例，html也是一样的。

在这里插入图片描述
xpath中节点的关系
在这里插入图片描述
author是title的第一个兄弟节点

xpath语法

基础节点选择语法

  1. XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。
  2. 这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
  3. 使用chrome插件选择标签时候，选中时，选中的标签会添加属性class=“xh-highlight”

xpath定位节点以及提取属性或文本内容的语法

在这里插入图片描述

语法练习

  • 选择所有的h2下的文本
    • //h2/text()
  • 获取所有的a标签的href
    • //a/@href
  • 获取html下的head下的title的文本
    • /html/head/title/text()
  • 获取html下的head下的link标签的href
    • /html/head/link/@href

节点修饰语法

在这里插入图片描述
xpath的下标

  • 在xpath中，第一个元素的位置是1
  • 最后一个元素的位置是last()
  • 倒数第二个是last()-1

语法练习

  • 所有的学科的名称

    • //div[@class=“nav_txt”]//a[@class=“a_gd”]

  • 第一个学科的链接

    • //div[@class=“nav_txt”]/ul/li[1]/a/@href

  • 最后一个学科的链接

    • //div[@class=“nav_txt”]/ul/li[last()]/a/@href

  • 通过包含修饰

    • //div[contains(@id,“qiushi_tag_”)]
    • //span[contains(text(),‘一页’)]

其他常用节点选择语法

在这里插入图片描述

  • 全部的标签
    • //*
  • 全部的属性
    • //node()

lxml模块

安装 pip/pip3 install lxml

爬虫对html提取的内容

  • 提取标签中的文本内容
  • 提取标签中的属性的值
    • 比如，提取a标签中href属性的值，获取url，进而继续发起请求

使用

  1. 导入lxml 的 etree 库
    from lxml import etree
  2. 利用etree.HTML，将html字符串（bytes类型或str类型）转化为Element对象，Element对象具有xpath的方法，返回结果的列表
    html = etree.HTML(text)
    ret_list = html.xpath(“xpath语法规则字符串”)
  3. xpath方法返回列表的三种情况
    • 返回空列表：根据xpath语法规则字符串，没有定位到任何元素
    • 返回由字符串构成的列表：xpath字符串规则匹配的一定是文本内容或某属性的值
    • 返回由Element对象构成的列表：xpath规则字符串匹配的是标签，列表中的Element对象可以继续进行xpath
  • 旧方法报错
from lxml import html  #局部导入，避免报错
etree = html.etree
htmlDiv = etree.HTML(data)
title = htmlDiv.xpath("//meta[1]/@content")
print(title)

使用示例

from lxml import etree
text = ''' 
<div> 
  <ul> 
    <li class="item-1">
      <a href="link1.html">first item</a>
    </li> 
    <li class="item-1">
      <a href="link2.html">second item</a>
    </li> 
    <li class="item-inactive">
      <a href="link3.html">third item</a>
    </li> 
    <li class="item-1">
      <a href="link4.html">fourth item</a>
    </li> 
    <li class="item-0">
      a href="link5.html">fifth item</a>
  </ul> 
</div>
'''

html = etree.HTML(text)

#获取href的列表和title的列表
href_list = html.xpath("//li[@class='item-1']/a/@href")
title_list = html.xpath("//li[@class='item-1']/a/text()")

#组装成字典
for href in href_list:
    item = {}
    item["href"] = href
    item["title"] = title_list[href_list.index(href)]
    print(item)

练习

将每个class为item-1的li标签作为1条新闻数据。提取a标签的文本内容以及链接，组装成一个字典。

text = ''' <div> <ul> 
        <li class="item-1"><a>first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li> 
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li> 
        <li class="item-0"><a href="link5.html">fifth item</a> 
        </ul> </div> '''

注意：

  • 先分组，再提取数据，可以避免数据的错乱
  • 对于空值要进行判断
from lxml import etree
text = ''' 
<div> 
<ul> 
  <li class="item-1">
    <a href="link1.html">first item</a>
  </li> 
  <li class="item-1">
    <a href="link2.html">second item</a>
  </li> 
  <li class="item-inactive">
    <a href="link3.html">third item</a>
  </li> 
  <li class="item-1">
    <a href="link4.html">fourth item</a>
  </li> 
  <li class="item-0">
    a href="link5.html">fifth item</a>
</ul> 
</div>'''

#根据li标签进行分组
html = etree.HTML(text)
li_list = html.xpath("//li[@class='item-1']")

#在每一组中继续进行数据的提取
for li in li_list:
    item = {}
    item["href"] = li.xpath("./a/@href")[0] if len(li.xpath("./a/@href"))>0 else None
    item["title"] = li.xpath("./a/text()")[0] if len(li.xpath("./a/text()"))>0 else None
    print(item)

etree.tostring函数

from lxml import etree
html_str = ''' <div> <ul> 
        <li class="item-1"><a href="link1.html">first item</a></li> 
        <li class="item-1"><a href="link2.html">second item</a></li> 
        <li class="item-inactive"><a href="link3.html">third item</a></li> 
        <li class="item-1"><a href="link4.html">fourth item</a></li> 
        <li class="item-0"><a href="link5.html">fifth item</a> 
        </ul> </div> '''

html = etree.HTML(html_str)

handeled_html_str = etree.tostring(html).decode()
print(handeled_html_str)

现象和结论
打印结果和原来相比：

  1. 自动补全原本缺失的li标签
  2. 自动补全html等标签
<html><body><div> <ul> 
<li class="item-1"><a href="link1.html">first item</a></li> 
<li class="item-1"><a href="link2.html">second item</a></li> 
<li class="item-inactive"><a href="link3.html">third item</a></li> 
<li class="item-1"><a href="link4.html">fourth item</a></li> 
<li class="item-0"><a href="link5.html">fifth item</a> 
</li></ul> </div> </body></html>

结论：

  • lxml.etree.HTML(html_str)可以自动补全标签
  • lxml.etree.tostring函数可以将转换为Element对象再转换回html字符串
  • 爬虫如果使用lxml来提取数据，应该以lxml.etree.tostring的返回结果作为提取数据的依据

贴吧爬取练习


import requests
class Tieba(object):
    def __init__(self,name):
        self.url='https://tieba.baidu.com/f?ie=utf-8&kw={}&fr=search'.format(name)
        self.headers={
            "User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.117 Safari/537.36",
            # "User-Agent":"Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; 360SE)"  #换个low的浏览器
        }
    def get_data(self,url):
        resp=requests.get(url,headers=self.headers)
        return resp.content

    def parse_data(self,data):

        data=data.decode().replace("<!--","").replace("-->","")  #将注释内容替换，否则不显示
        # 创建element对象
        from lxml import html
        etree = html.etree
        html = etree.HTML(data)
        el_list=html.xpath('//li[@class=" j_thread_list clearfix"]/div/div[2]/div[1]/div[1]/a')
        print(len(el_list))
        data_list=[]
        for el in el_list:
            temp={}
            temp["title"]=el.xpath('./text()')[0]
            temp['link']="http://tieba.baidu.com/" +el.xpath('./@href')[0]
            data_list.append(temp)
            
        #获取下一页url,找翻页url尽量不要用索引
        try:
            # next_url= "https:"+html.xpath('//a[@class="last pagination-item"]/@href')[0]  #xpath语法错了
            next_url= "https:"+html.xpath('//a[contains(text(),"下一页>")]/@href')[0]
        except:
            next_url=None
        return data_list,next_url

    def save_data(self,data_list):
        for data in data_list:
            print(data)

    def run(self):
        next_url=self.url
        while True:

            data=self.get_data(next_url)
            data_list,next_url  =self.parse_data(data)
            self.save_data(data_list)
            if next_url==None:
                break

if __name__ == '__main__':
    tieba=Tieba('一人之下')
    tieba.run()
White Root
关注
专栏目录
OpenVigil:开放式药物警戒数据提取，挖掘和分析工具-开源
04-29
OpenVigil提供了一个Web界面来分析药物警戒性数据，即治疗（药物）的自发或系统收集以及观察到的不良事件（“药物副作用”）。 支持FDA不良事件报告系统（AERS）和其他药物警戒数据（例如，加拿大或德国）。 基于Web的OpenVigil分析工具提供多种分析模式，例如提取，过滤，数据挖掘和通过不成比例的测量进行分析（例如比例报告比率或报告优势比），并导出到电子表格程序（例如Microsoft Excel）或统计程序（例如R）。OpenVigil 1对原始数据进行操作，对清除的数据使用OpenVigil 2（使用drugbank.ca和drugs @ FDA），OpenVigilFDA使用FDA官方在线API。 OpenVigil 2支持查询ATC代码或某些化学部分。 OpenVigil项目的其他工具包括用于测量2x2列联表的不成比例的计算器和使用RxNorm的药物名映射器。
数据提取软件
04-14
可以自动提取CAD中表格和档好用便捷，完全免费，可以永久使用，施工常用必备
数据提取技术概览：从基础到高级
最新发布
Shaidou_Data的博客
08-22 1128
数据提取是从原始文献、信息源或数据库中摘录所需信息的过程。这些信息可能来自网页、数据库、文件、图像、报告等多种来源。数据提取技术广泛应用于研究、商业智能、竞争分析、机器学习等多个领域，是数据科学与信息处理的重要环节。
数据提取
Ronin__L的博客
04-14 237
数据提取 文章目录数据提取一、 响应内容的分类1、结构化的响应内容1.1、 json字符串1.2 xml字符串2、非结构化的响应内容二、 认识xml以及和html的区别1、 认识xml2、xml和html的区别二、 常用数据解析方法 一、 响应内容的分类 在发送请求获取响应之后，可能存在多种不同类型的响应内容；而且很多时候，我们只需要响应内容中的一部分数据 1、结构化的响应内容 1.1、 json字符串 可以使用re、json等模块来提取特定数据 1.2 xml字符串 - 可以使用re、lxml等模
数据提取-
qq_41386300的博客
11-06 808
1.Python中的json模块 json.loads() 把json格式的字符串解码转换为Python对象 json.dumps() 把Python对象编码转换为json字符串 json.dump() 把Python内置类型转换为json对象后写入文件 json.load() 读取文件中的json形式的字符串元素转换为Python类型 import json # ...
GAT 756-2021 法庭科学 电子数据收集提取技术规范
04-13
GAT 756-2021 法庭科学 电子数据收集提取技术规范
夜间灯光数据集：2000-2020年经过连续校正的夜间灯光数据集，可以直接使用，附有详细的参考文献以及arcgis提取方法
03-27
夜间灯光数据集：2000-2020年经过连续校正的夜间灯光数据集，可以直接使用，附有详细的参考文献以及arcgis提取方法。地级市的夜间灯光数据已经整理成excel格式，对于省级的或者县及的夜间灯光数据，本人会提供校正好...
行为识别数据集-真实监控视角柜台抄写行为检测数据集1156张(含voc和yolo格式标签文件).zip
12-19
1、该数据集是真实室内监控视角抓拍、收集，拍摄背景丰富多样，非一个场景连续提取关键帧。可继续做数据增强。 2、数据集标注精准无误，含有voc格式、yolo格式、coco格式、json格式(需脚本转换，可私信博主转换给你)...
数据仓库-数据集市-BI-数据分析.rar
09-06
数据分析是 BI 的核心部分，它涉及对收集到的数据进行深度研究，以揭示隐藏的模式、关联和洞察。数据分析可以分为描述性分析（了解过去发生了什么）、诊断性分析（为什么发生）、预测性分析（未来可能发生什么）和...
典型案例提炼
04-07
本资源是一个关于教育信息化典型案例整理的资料，有兴趣的童鞋们可以参考一下，仅供了解。
《基于R的统计分析与数据挖掘》数据和代码
12-09
《基于r的统计分析与数据挖掘》聚焦当今备受国内外数据分析师和数据应用者关注的r语言，关注如何借助r实现统计分析和数据挖掘。它既不是仅侧重理论讲解的统计分析和数据挖掘教科书，也不是仅侧重r编程操作的使用手册，而是以数据分析贯穿全书的两者的有机结合。 本书特色在于：以数据模拟的直观方式论述方法原理的同时，通过案例强化r的操作实践性；在以解决应用问题为目标讨论r操作的同时，通过原理论述强化模型结果的解读理解。
Meta分析 数据提取
07-04
### Meta分析中的数据提取 #### 一、数据及来源 在进行Meta分析时，数据的来源至关重要。数据主要来源于已发表的研究文献、未发表的研究资料（例如通过联系研究作者获得的个体患者数据，简称IPD），以及其他可靠的...
数据提取1
weixin_51550438的博客
07-27 292
爬虫数据提取之json
数据提取方法
Shaidou_Data的博客
07-23 768
数据提取过程广泛应用于数据分析、数据挖掘、信息检索、机器学习等多个领域。的具体方法和步骤会根据数据的来源、格式、大小以及提取目标的复杂性而有所不同。
数据提取-数据提取软件
qq_787143156的博客
09-17 552
除了对网站的评价外，百度还逐步加强了对内容质量的识别和评价，并将其纳入对内容所在登陆页面的评价。为了让百度在网站中包含更多的内容，并为未来网站的关键字排名打下基础，每天需要花一些时间发送一些高质量的外部链接，或者找到一些同类型的网站来交换链接。网站架构是SEO的基础部分，它主要关系到代码的简化、目录结构、网页输入、网站跳出率等方面，合理的架构可以使搜索引擎更好地把握网站内容，也能给访问者带来舒适的访问体验。好的内容不仅是给用户看的，也是给搜索引擎看的，一个优秀的SEO论文工作者可以找出两者的共同点。
Python之数据提取
shaonianbz的博客
08-06 579
一、xpath语法与xml库 二、BeautifulSoup4库 三、正则表达式和re模块
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值