Python爬虫的数据提取,一篇博客就搞定啦!

最新推荐文章于 2023-04-02 13:28:17 发布
最新推荐文章于 2023-04-02 13:28:17 发布
阅读量1.7k 收藏 8
点赞数 2
分类专栏： Python爬虫 文章标签： python 爬虫 数据分析 xpath requests
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41819729/article/details/105774470
版权
本文介绍了Python爬虫中XPath的语法和lxml库的使用，包括XPath的选取节点、谓语、通配符和运算符，以及lxml的基本操作、文件读取和XPath应用。通过实战示例展示了如何结合requests爬取豆瓣电影和电影天堂的数据。
摘要由CSDN通过智能技术生成

数据提取

目录

XPath语法和lxml模块

XPath

什么是XPath

xpath(XML Path Language) 是一门在XML和HTML文档中查找信息的语言，可以用来在XML和HTML文档中对元素和属性进行遍历

XPath开发工具
  1. Chrome插件XPath Helper。
  2. Firefox插件Try XPath。
XPath语法
选取节点：

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

表达式 描述 示例 结果
nodename 选取此节点的所有子节点 bookstore 选取bookstore下所有的子节点
/ 如果是在最前面，代表从根节点选取。否则选择某节点下的某个节点 /bookstore 选取根元素下所有的bookstore节点
// 从全局节点中选择节点，随便在哪个位置 //book 从全局节点中找到所有的book节点
@ 选取某个节点的属性 //book[@price] 选择所有拥有price属性的book节点
. 当前节点 ./a 选取当前节点下的a标签
谓语：

谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。
在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：

路径表达式 描述
/bookstore/book[1] 选取bookstore下的第一个子元素
/bookstore/book[last()] 选取bookstore下的倒数第二个book元素。
bookstore/book[position()< 3] 选取bookstore下前面两个子元素。
//book[@price] 选取所有拥有price属性的book元素
//book[@price=10] 选取所有属性price等于10的book元素
//book[contains(@price,10)] 模糊匹配，选取所有拥有price属性的,而且该price属性值包含10的book元素
通配符

*表示通配符。

通配符 描述 示例 结果
* 匹配任意节点 /bookstore/* 选取bookstore下的所有子元素。
@* 匹配节点中的任何属性 //book[@*] 选取所有带有属性的book元素。
选取多个路径：

通过在路径表达式中使用“|”运算符，可以选取若干个路径。
示例如下：

//bookstore/book | //book/title
# 选取所有book元素以及book元素下所有的title元素
运算符：
运算符 描述 实例 返回值
| 计算两个节点集 //book | //cd 返回所有拥有 book 和 cd 元素的节点集
+ 加法 6 + 4 10
- 减法 6 - 4 2
* 乘法 6 * 4 24
div 除法 8 div 4 2
= 等于 price=9.80 如果 price 是 9.80，则返回 true。如果 price 是 9.90，则返回 false。
!= 不等于 price!=9.80 如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
< 小于 price<9.80 如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
<= 小于或等于 price<=9.80 如果 price 是 9.00，则返回 true。如果 price 是 9.90，则返回 false。
> 大于 price>9.80 如果 price 是 9.90，则返回 true。如果 price 是 9.80，则返回 false。
>= 大于或等于 price>=9.80 如果 price 是 9.90，则返回 true。如果 price 是 9.70，则返回 false。
or 或 price=9.80 or price=9.70 如果 price 是 9.80，则返回 true。如果 price 是 9.50，则返回 false。
and 与 price>9.00 and price<9.90 如果 price 是 9.80，则返回 true。如果 price 是 8.50，则返回 false。
mod 计算除法的余数 5 mod 2 1

实例：

//dl[@class = 'job_detail' and @id='job_detail']

对应查找到的div:

在这里插入图片描述

总结
使用方式

使用//获取整个页面中的html元素，然后写标签名，再然后写谓词进行提取目标信息。比如：

//div[@class='job_detail']
需要注意的知识点

  • /和//的区别:/代表只获取子节点。//获取子孙节点。一般使用//居多，视具体需要决定使用哪种选择

  • contains:有时候某个属性中包含了多个值，那么可以使用contains()函数。进行模糊选择。如：

    //div[contains(@class,'job_detail','job-location')]

  • 谓词中的下标是从1开始，不是从0开始的，如选择当前html页面中body的第一个div:

    /html/body/div[1]

lxml库

lxml 是 一个HTML/XML的解析器，主要的功能是如何解析和提取 HTML/XML 数据。

lxml和正则一样，也是用 C 实现的，是一款高性能的 Python HTML/XML 解析器，我们可以利用之前学习的XPath语法，来快速的定位特定元素以及节点信息。

lxml python 官方文档：http://lxml.de/index.html

需要安装C语言库，可使用 pip 安装：pip install lxml

基本使用：

我们可以利用他来解析HTML代码，并且在解析HTML代码的时候，如果HTML代码不规范，他会自动的进行补全。示例代码如下：

# 使用 lxml 的 etree 库
from lxml import etree 

text = '''
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a> # 注意，此处缺少一个 </li> 闭合标签
     </ul>
 </div>
'''

#利用etree.HTML，将字符串解析为HTML文档
html = etree.HTML(text) 

# 按字符串序列化HTML文档
result = etree.tostring(html) 

print(result)

输入结果如下：

<html><body>
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html">third item</a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
</ul>
 </div>
</body></html>

可以看到。lxml会自动修改HTML代码。例子中不仅补全了li标签，还添加了body，html标签。

从文件中读取html代码：

除了直接使用字符串进行解析，lxml还支持从文件中读取内容。我们新建一个hello.html文件：

<!-- hello.html -->
<div>
    <ul>
         <li class="item-0"><a href="link1.html">first item</a></li>
         <li class="item-1"><a href="link2.html">second item</a></li>
         <li class="item-inactive"><a href="link3.html"><span class="bold">third item</span></a></li>
         <li class="item-1"><a href="link4.html">fourth item</a></li>
         <li class="item-0"><a href="link5.html">fifth item</a></li>
     </ul>
 </div>

然后利用etree.parse()方法来读取文件。示例代码如下：

from lxml import etree

# 读取外部文件 hello.html
html = etree.parse('hello.html')
result = etree.tostring(html, pretty_print=True)

print(result)

输入结果和之前是相同的。

在使用lxml解析html代码时需要注意的点

  • 解析html字符串：使用lxml.etree.HTML进行解析，并且通过etree.tostring将解析的内容转换为字符串。直接解析出来的字符串会有编码问题，所以需要编码处理:

    def parse_text(text):
    htmlElement = etree.HTML(text)
    print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8')) # 需要

  • 解析html文件，使用lxml.etree.parse进行解析，这个函数默认使用的解析器是XML解析器，所以如果碰到一些不规范的html代码的时候会解析错误:

    lxml.etree.XMLSyntaxError: Opening and ending tag mismatch: input line 52 and div, line 68, column 23

    这时候需要自己创建HTMLParser，即HTML解析器，并且在parse方法中指定该HTML解析器：

    def parse_excepted_file(file_name):
    # 当解析的内容有缺失的时候，可以手动设置解析器来解决报错
    parser = etree.HTMLParser(encoding='utf-8') # 定义HTML解析器
    htmlElement=etree.parse(file_name,parser=parser) # parser默认为xml的解析器，我们手动更改为Html的解析器
    print(etree.tostring(htmlElement,encoding='utf-8').decode('utf-8'))
在lxml中使用XPath语法：

  1. 获取所有li标签：

     from lxml import etree

 html = etree.parse('hello.html')
 print type(html)  # 显示etree.parse() 返回类型

 result = html.xpath('//li')

 print(result)  # 打印<li>标签的元素集合

  2. 获取所有li元素下的所有class属性的值：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/@class')

 print(result)

  3. 获取li标签下href为www.baidu.com的a标签：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a[@href="www.baidu.com"]')

 print(result)

  4. 获取li标签下所有span标签：

     from lxml import etree

 html = etree.parse('hello.html')

 #result = html.xpath('//li/span')
 #注意这么写是不对的：
 #因为 / 是用来获取子元素的，而 <span> 并不是 <li> 的子元素，所以，要用双斜杠

 result = html.xpath('//li//span')

 print(result)

  5. 获取li标签下的a标签里的所有class：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li/a//@class')

 print(result)

  6. 获取最后一个li的a的href属性对应的值：

     from lxml import etree

 html = etree.parse('hello.html')

 result = html.xpath('//li[last()]/a/@href')
 # 谓语 [last()] 可以找到最后一个元素

 print(result)

  7. 获取倒数第二个li元素的内容：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a')

 # text 方法可以获取元素内容
 print(result[0].text)

  8. 获取倒数第二个li元素的内容的第二种方式：

     from lxml import etree

 html = etree.parse('hello.html')
 result = html.xpath('//li[last()-1]/a/text()')

 print(result)
练习：

使用xpath爬取腾讯招聘网信息。要求为获取每个职位的详情信息。

"""
可以使用两种方式记录相关信息：
1. 字典+列表：被注释的部分
2. 列表+字典：选中的方案
"""
# job_dict = {"job_title":[],"job_detail":[],"job_department":[],"job_location":[],"job_publish_time":[]}
positions=[]
recruit_list = html.xpath("//div[@class = 'recruit-list']")
for recruit in recruit_list:
    # 在//之前加一个点，代表是在当前元素下获取
    title = recruit.xpath(".//h4[@class='recruit-title']//text()")[0] # 注意获取到的html元素集合的第一个元素
    detail = recruit.xpath(".//p[@class='recruit-text']//text()")[0]
    department = recruit.xpath(".//span[3]//text()")[0]
    location = recruit.xpath(".//span[2]//text()")[0]
    publish_time = recruit.xpath(".//span[4]//text()")[0]
    # for i,j,k,z,w in zip(title,detail,department,location,publish_time):
    #     job_dict["job_title"].append(i)
    #     job_dict["job_detail"].append(j)
    #     job_dict["job_department"].append(k)
    #     job_dict["job_location"].append(z)
    #     job_dict["job_publish_time"].append(w)
    position={
   
        'job_title':title,
        'job_detail':detail,
        'job_department':department,
        'job_location':location,
        'job_publish_time':publish_time
    }
    positions.append(position)

# print("*"*25+"title"+"*"*25)
# print(job_dict["job_title"])
# print("*"*25+"detail"+"*"*25)
# print(job_dict["job_detail"])
# print("*"*25+"location"+"*"*25)
# print(job_dict["job_location"])
# print("*"*25+"department"+"*"*25)
# print(job_dict["job_department"])
# print("*"*25+"publish_time"+"*"*25)
# print(job_dict["job_publish_time"])

for p in positions:
    print(p)

相关腾讯招聘网的html:

<div data-v-288d7ecc="" class="correlation-degree">
  <div data-v-288d7ecc="" class="recruit-wrap recruit-margin">
    <!---->
    <div data-v-288d7ecc="" class="recruit-list">
      <a data-v-288d7ecc="" class="recruit-list-link">
        <h4 data-v-288d7ecc="" class="recruit-title">CSIG17-AI开放平台高级测试工程师</h4>
        <p data-v-288d7ecc="" class="recruit-tips">
          <span data-v-288d7ecc="">CSIG</span>|
          <span data-v-288d7ecc="">深圳,中国</span>|
          <span data-v-288d7ecc="">技术</span>|
          <!---->
          <span data-v-288d7ecc="">2020年04月25日</span></p>
        <p data-v-288d7ecc="" class="recruit-text">负责腾讯云叮当语音助手相关ToB业务质量保障工作及叮当开放平台质量保障工作，腾讯云叮当开放平台对外输出腾讯在AI领域特别是人机对话场景中的各项领先技术，在各种行业方向上和多家优质企业进行了深度的合作，包括腾讯车联网，智能家居，智能音箱，智能穿戴，智能机器人，文旅等领域都有合作。具体工作内容如下： 1、负责腾讯云叮当开放平台的质量保障及ToB业务定制需求的质量保障工作，负责全流程质量管控，包括参与需求分析，帮助完善需求与开发设计实现，合理设计测试计划，实施测试活动，跟进缺陷，协助研发分析定位问题； 2、负责产品相关的测试方案，测试工具平台，后台服务的接口自动化测试以及自动化监控用例建设,自动化测试架构设计及实现工作； 3、保证被测系统的质量，并通过测试流程和方法创新，提升研发的质量和效率 4、担任测试架构师角色，推动产品代码可测性建设及产品架构可测试性拆解，应用并落地分层测试相关技术,对后台服务进行代码审查，实施灰盒、白盒测试方法挖掘问题。 腾讯云叮当参考网址：dingdang.qq.com</p></a>
      <div data-v-114c7c2f="" data-v-288d7ecc="" class="recruit-share">
        <div data-v-114c7c2f="" class="recruit-content">
          <span data-v-114c7c2f="" class="share"></span>
          <span data-v-114c7c2f="" class="share-text">分享</span>
          <div data-v-114c7c2f="" id="share-detail" class="share-list">
            <div data-v-114c7c2f="" class="share-title">分享</div>
            <div data-v-114c7c2f="" class="close-btn"></div>
            <div data-v-114c7c2f="" id="1167336852961628160" class="qr-code" style="display: none;"></div>
            <ul data-v-114c7c2f="" class="share-gound">
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="" target="_blank" class="share-icon qq"></a>
              </li>
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="javascript:;" class="share-icon wechat"></a>
              </li>
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="" target="_blank" class="share-icon micro-blog"></a>
              </li>
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="" target="_blank" class="share-icon in"></a>
              </li>
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="" target="_blank" class="share-icon facebook"></a>
              </li>
              <li data-v-114c7c2f="" class="share-item">
                <a data-v-114c7c2f="" href="" target="_blank" class="share-icon twitter"></a>
              </li>
            </ul>
            <div data-v-114c7c2f="" class="link-wrapper">
              <div data-v-114c7c2f="" class="link-text">岗位链接</div>
              <div data-v-114c7c2f="" class="link-ground">
                <input data-v-114c7c2f="" readonly="readonly" id="" class="link input-text">
                <div data-v-114c7c2f="" class="copy">复制链接</div></div>
            </div>
          </div>
        </div>
      </div>
      <div data-v-288d7ecc="" class="recruit-collection">
        <span data-v-288d7ecc="" class="icon-collection"></span>
        <span data-v-288d7ecc="" class="collection-text">收藏</span></div>
    </div>
    <div data-v-288d7ecc="" class="recruit-list">
      <a data-v-288d7ecc="" class="recruit-list-link">
        <h4 data-v-288d7ecc="" class="recruit-title">36960-推荐架构后台开发工程师（北京）</h4>
        <p data-v-288d7ecc="" class="recruit-tips">
          <span data-v-288d7ecc="">PCG</span>|
          <span data-v-288d7ecc="">北京,中国</span>|
          <span data-v-288d7ecc="">技术</span>|
          <span data-v-288d7ecc="">2020年04月25日</span></p>
        <p data-v-288d7ecc="" class="recruit-text">负责腾讯视频主app各场景、矩阵产品推荐系统的后台服务架构设计和实现, 建设高效/灵活/易用的统一融合的综合视频推荐架构；负 责各场景框架后台优化与技术探索;</p></a>
最低0.47元/天 解锁文章
万字博文教你python爬虫Beautiful Soup库【详解篇】
孤寒者的博客
07-22 55万+
 ????????相信不少小伙伴们通过我的两篇万字博文的轮番轰炸已经实现了从入坑到会完全学会requests库，并且可以独立开发出属于自己的小爬虫项目！！！——爬虫之路，永无止境~????????     第一篇爬虫入坑：一篇万字博文带你入坑爬虫这条不归路（你还在犹豫什么&抓紧上车） 【❤️熬夜整理&建议收藏❤️】   第二篇爬虫库requests库详解：两万字博文教你python爬虫requests库，看完还不会我把我女朋友都给你【❤️熬夜整理&建议收藏❤️】    ?????
一篇文章搞定Python爬虫
Chemlez'blog
03-18 524
一、Requests库的7个主要方法 方法 说明 requests.request() 构造一个请求，支撑一下各方法的基础方法 requests.get() 获取HTML网页的主要方法，对应于HTTP的GET requests.head() 获取HTML网页头信息的方法，对应于HTTP的HEAD requests.post() 向HTML网页提交POST请求的方法，对应...
python2爬取div数据
weixin_41303815的博客
06-12 1511
python爬取数据
Python基础之数字化大屏
绳锯木断，水滴石穿，专心写文，无问西东！！！
10-01 1508
在公司内部或前台，有时需要展示数字化看板，展示公司的业务信息。看着别的公司展示的炫酷的数字化大屏，是否很羡慕？本文以Python+flask+jQuery+eCharts，简述如何开发数字化大屏进行数据展示，仅供学习分享使用，如有不足之处，还请指正。 涉及知识点 Python+flask开发web系统，实现数据传输。 jQuery通过ajax技术，实现数据的异步通信，局部刷新。 eCharts进行图表的展示（包括柱状图，折线图，地图等）。 html+css页面布局等技术。 示例效果图 在本例中，
Python3之xpath爬虫，获取网页里面的标题和相应的链接
jiet07的博客
07-10 9883
获取网页里面的标题和相应的链接 网页链接如下： https://mp.weixin.qq.com/s/VOU2m5hn9CdO7tsdBb6pTQ 获取所有标题以及对应的链接地址 3.输出结果 4.注意 查找特定的节点 //div[@class=‘rich_media’]/div/div/div/div/div/p/text() 路径说明 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 @ 选取属性。 text() 选取文本内容。 选取class属性值为rich_med
centosAI数据模型
最新发布
weixin_63660670的博客
04-02 12万+
之前一直公益运营万万没想到流量比预想的要大很多，API接口的这个Tokens消耗的速度比预想的要快的多。想持续提供免费服务，目前看只能自己拿真金白银来顶。光靠一点捐助肯定是杯水车薪。所以有能力的伙伴可以付费支持一下，注册也会送许多免费次数。
tensorflow2 写网络结构，贼优雅
lebhoryi
06-09 493
原创: Lebhoryi@rt-thread.com 时间: 2020/06/10 coding: google-research/kws_streaming/models/cnn.py # coding=utf-8 # Copyright 2020 The Google Research Authors. # cnn.py """CNN model with Mel spectrum.""" from kws_streaming.layers import modes from kws_stre.
Python爬虫--数据提取
fanicinc的博客
12-07 1034
目录 数据提取概述 响应内容分类 常用解析方法 数据提取-json json.loads（） json.dumps() json.load() json.dump() 数据提取-jsonpath 数据提取-xpath 数据提取-lxml 数据提取概述 响应内容分类 结构化数据 json数据，xml数据 非结构化数据 html 常用解析方法 结构化数据 json json模块，jsonpath，re xml模块，xpath，re 非结构化数据html re，x
python网页爬虫循环获取_手把手教你用 Python 搞定网页爬虫
weixin_39728320的博客
11-23 1290
原标题：手把手教你用 Python 搞定网页爬虫编译：欧剃作为数据科学家的第一个任务，就是做网页爬取。那时候，我对使用代码从网站上获取数据这项技术完全一无所知，它偏偏又是最有逻辑性并且最容易获得的数据来源。在几次尝试之后，网页爬取对我来说就几乎是种本能行为了。如今，它更成为了我几乎每天都要用到的少数几个技术之一。在今天的文章中，我将会用几个简单的例子，向大家展示如何爬取一个网站——比如从Fast ...
Python爬虫——数据提取
陌尘吖的博客
02-11 358
Python爬虫——数据提取 一、json格式 1.1json字符串转python数据格式 json.loads() 将json字符转换为Python类型 json.loads(json字符串) 1.2python数据格式转json字符串 json.dumps 把python类型转换为json字符串 json.dumps({}) json.dumps(ret1, ensure_asc...
以下用于数据存储领域的python第三方库是-『爬虫四步走』手把手教你使用Python抓取并存储网页数据！...
weixin_37988176的博客
11-01 355
第一步：尝试请求首先进入b站首页，点击排行榜并复制链接https://www.bilibili.com/ranking?spm_id_from=333.851.b_7072696d61727950616765546162.3现在启动Jupyter notebook，并运行以下代码import requestsurl = 'https://www.bilibili.com/ranking?spm_i...
python爬虫学习笔记之数据提取
hkh的博客
11-30 6263
1、XPath语法和lxml库 1.01、什么是XPath? xpath(XML Path Language)是一门在XML和HTML文档中查找信息的语言，可用来在XML和HTML文档中对元素和属性进行遍历。 1.02、XPath工具 Chrome插件XPath Helper。 Firefox插件XPath Checker。 1.03、XPath语法： 选取节点： XPath使用路径表达式来选取XML文档中的节点或者节点集
Python爬取XML接口的数据
嗨皮螃的博客
09-29 1645
爬取XML的数据和爬取json的数据差不多，区别在于XML有树结构，不过Python提供了很强大的lxml模块 #! /usr/bin/env python # coding=utf-8 import requests from lxml import etree import sys import xlwt #初始化 reload(sys) sys.setdefaultencoding('...
爬虫数据提取方法详解（一）
chen__an的博客
11-12 2万+
爬虫中数据的分类：结构化数据（json,xml等）处理方式是直接转化为python类型，jsonpath,xpath,bs4等.                                 非结构化数据（HTML）处理方式是正则表达式，xpath，bs4等. 数据提取之json:         json是一种轻量级的数据交换格式，他使得人们很容易的进行阅读和编写，同时也方便了机器进行解析...
python文本提取_python 文本内容提取
weixin_39630498的博客
12-01 1271
展开全部^#!/usr/bin/python3# -*- coding: utf-8 -*-def parse(text):result = []import rer1 = re.compile(r'\s*(/[^636f70793231313335323631343130323136353331333361303637\s]+)\s+FaceTracking\s+\{([^\}]*)\}\s+\...
python网络爬虫教程(一)：一篇文章轻松搞定网络基础
weixin_45698431的博客
05-25 1297
网络爬虫是一种高效的信息采集利器，利用她可以快速、准确地采集我们想要的各种数据资源，在这个充满各种信息的时代，大数据深刻地改变着我们的工 作和生活，而数据的获取很大程度上依赖于爬虫的爬取。 在开始系统地学习网络爬虫之前，我们需要对网络基础有一定的了解，如 服务器请求的收发原理、HTTP原理、爬虫的基本原理等，在本章中我们就对这些基础知识做一个简单的总结。 URL概念 URL是Uniform Resource Locator的简称，翻译过来就是“统一资源定位符”，在访问网络资源时，我们可以用它来唯一指定它的访
Python爬虫(数据提取)
qq_43966236的博客
08-01 59
数据提取概述 认识xml以及html的区别? xml: 可扩展标记语言 为了传输和存储数据,侧重点是在于数据内容本身 html: 超文本标记语言 为了更好的显示数据.侧重点是为了显示 常用的数据解析方法? 数据提取 正则表达式:描述了一种字符串匹配的模式.可以用来检查一个串是否含有某种子串.将匹配的子串做替换或者从某个串中取出某个条件的子串 模式:一种特定的字符串模式,这个模式是通过一些特殊符号组成的 功能: 数据验证 数据检索...
vue---获取元素额外生成的data-v-xxx
maidu_xbd的博客
04-15 1万+
需求描述：由于样式中使用了scoped，所以编译后标签对中生成data-v-xxx属性。在【.dialog_content】的div中 动态添加元素节点p和span时，也需要给元素节点添加data-v-xxx属性。由于data-v-xxx属性是会变化的，那如何获取它，添加在动态添加的元素节点中呢？本博客将给出解决方案。 【解决方法】 获取属性名【document.getElementByI...
多线程+反爬：爬取阿里巴巴国际站物流表现数据到mysql
mostermoonsky的博客
03-02 1975
网页链接 需爬取的内容：所有国家所有物流渠道时效表现 爬取内容展示： 上代码： from bs4 import BeautifulSoup from urllib.request import urlopen import urllib3 urllib3.disable_warnings(urllib3.exceptions.InsecureRequestWarning) import rand...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值