Python 爬虫找到数据了 re & XPath & requests & Pool

最新推荐文章于 2021-11-02 11:00:57 发布
最新推荐文章于 2021-11-02 11:00:57 发布
阅读量332 收藏 1
点赞数
分类专栏： python

Python 爬虫找到数据了 re & XPath & requests & Pool

2018.06.16 23:18 88浏览

 字号

是的，爬虫就是为了获取数据。在获取的数据中，会有很多的冗余信息，需要在获取的数据中提取所需要的有用信息。进而联想到数据的匹配：正则表达式。接下来重点介绍的是 Python 中的两个提取数据的两个框架 re 与 XPath。

一、正则表达式

正则表达式是通用的，不区分任何的语言。以下是一些比较常用的通配符：

 

image.png

二、re

在 re 中有三个比较重要的函数，介绍如下：

  • findall： 匹配所有符合规律的内容，返回包含结果的列表

  • Search：匹配并提取第一个符合规律的内容，返回一个正则表达式对象（object)

  • Sub ：替换符合规律的内容，返回替换后的值

接下来是将一些比较常用的语法通过以上三个函数都使用以下。当然了， 在使用之前先导入 re。

import re

2.1 关于点、星号与问号的使用

# 点的使用def dotFunc():
    # 定义一个字符串
    value = 'Hello, CoderHG. My name is CoderOC.'
    # 匹配名字
    names = re.findall('Coder..', value)    # 打印
    print(names)    # 结果 ['CoderHG', 'CoderOC']
    # 依次打印
    for name in names:
        print(name)# 星号的使用def starFunc():
    value = 'Hello, CoderHG.'
    name = re.findall('Coder*', value)
    print(name)    # 结果  ['Coder']# 问号的使用def questionFunc():
    value = 'Hello, CoderHG.'
    name = re.findall('Coder?', value)
    print(name)    # 结果  ['Coder']

2.2 贪心算法

主要是 .* 匹配， 代码如下：

### 2.2 贪心算法def tanxinFunc():
    secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
    b = re.findall('xx.*xx',secret_code)
    print(b)    # 打印结果 ['xxIxxfasdjifja134xxlovexx23345sdfxxyouxx']

匹配的是尽量多的内容。

2.3 非贪心算法

主要是匹配 .*？匹配， 代码如下：

# 非贪心算法def notTanxinFunc():
    secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
    b = re.findall('xx.*?xx',secret_code)
    print(b)    # 打印结果 ['xxIxx', 'xxlovexx', 'xxyouxx']

尽量的少，尽量的细致的去匹配

2.4 括号+非贪心算法

# 括号+非贪心算法def kuohaoNotTanxinFunc():
    secret_code = 'hadkfalifexxIxxfasdjifja134xxlovexx23345sdfxxyouxx8dfse'
    b = re.findall('xx(.*?)xx', secret_code)
    print(b)    # 打印结果 ['I', 'love', 'you']

    for text in b:
        print(text)

2.5 re.S 参数的作用

def huanhangFunc():
    s = '''sdfxxhe
    llo
    xxfsdfxxworldxxasdf'''
    # 不带 re.S 参数
    d = re.findall('xx(.*?)xx', s)
    print(d)    # 打印结果: ['fsdf']

    # 带有 re.S 参数
    d_reS = re.findall('xx(.*?)xx',s, re.S)
    print(d_reS)    # 打印结果: ['he\n    llo\n    ', 'world']

加上 re.S 能匹配出带有换行的字符。

2.6 findall 与 search 结合使用

def findallAndSearchFunc():
    s2 = 'asdfxxIxx123xxlovexxdfd'
    result = re.search('xx(.*?)xx123xx(.*?)xx',s2)
    print(result)    # 打印结果 对象: <_sre.SRE_Match object; span=(4, 20), match='xxIxx123xxlovexx'>
    f = result.group(2)
    print(f)    # 打印结果 : love

    result = re.findall('xx(.*?)xx123xx(.*?)xx',s2)
    print(result)    # 打印结果 数组套元组: [('I', 'love')]
    f = result[0][1]
    print(f)    # 打印结果 :  love

2.7 sub 的使用

# sub 的使用, 替换字符串def subFunc():
    s = '我很想对她说: I what You.'
    f = re.sub('I (.*?) You.', 'I love You.', s)

    print(f)    # 打印结果: 我很想对她说: I love You.

三、XPath

3.1 安装 lxml

通过 pip list 指令查看是否已经安装 list。 如果没有安装，执行 pip install lxml即可。
这个东西与其他的库有所不同， 说的是 XPath， 安装的是 lxlml。在使用的时候， 直接导入：

from lxml import etree

温馨提示：按照以上的步骤如果import 的时候出错， 那么到设置中手动安装一下。

3.2 使用格式

3.2.1 套路

Selector = etree.HTML(网页源代码)
Selector.xpath(一段神奇的符号)

3.2.2 规律

  •  

    1. 树状结构

  •  

    1. 逐层展开

  •  

    1. 逐层定位

  • 4.寻找独立节点

3.2.3 语法

  •  

    1. // 定位根节点

  •  

    1. /  往下层寻找

  •  

    1. 提取文本内容：/text()

  •  

    1. 提取属性内容: /@xxxx

3.3 实例

3.3.1 常规用法

这里有一个简单的 HTML 文本， 如下：

<!DOCTYPE html><html><head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title></head><body><div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>

    <div id="url">
        <a href="http://jikexueyuan.com">极客学院</a>
        <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a>
    </div></div></body></html>

现在想要提取 id = useful 中的 ui 标签中的内容， 以及 获取 a 标签中的连接，如果使用 re 的话， 那就不好办了， 尤其是提取 id = useful 中的 ui 标签中的内容，因为还有一个与之类似的 id=userless 的标签。
使用 XPath 的话， 就显得容易了， 代码如下：

# XPath 的相关用法def xpatHTML():
    # 获取一个与 XPath 相关的对象
    selector = etree.HTML(html)    # 提取文本 是数组
    contents = selector.xpath('//ul[@id="useful"]/li/text()')    # content = selector.xpath('//*[@id="useful"]/li/text()')
    # 打印获取的内容
    for content in contents:
        print(content)    # 打印结果:
    # 这是第一条信息
    # 这是第二条信息
    # 这是第三条信息


    # 提取属性
    links = selector.xpath('//a/@href')    for link in  links:
        print(link)    # 打印结果:
    # http://jikexueyuan.com
    # http://jikexueyuan.com/course/

3.3.2 特殊用法一（以相同的字符开头）

现在有以下一段 html 的文本内容：

<!DOCTYPE html><html><head lang="en">
    <meta charset="UTF-8">
    <title></title></head><body>
    <div id="test-1">需要的内容1</div>
    <div id="test-2">需要的内容2</div>
    <div id="testfault">需要的内容3</div></body></html>

需要提取 id=‘test*’ 中的内容， 那么久需要使用到的的语法是这样的：

starts-with(@属性名称, 属性字符相同部分)

代码可见：

# 以相同的字符开头def startwithFunc():
    print('以相同的字符开头')    # 获取一个与 XPath 相关的对象
    selector = etree.HTML(html)    # 提取文本 是数组
    contents = selector.xpath('//div[starts-with(@id,"test")]/text()')    # 打印
    for content in contents:
        print(content)    # 打印结果:
    # 需要的内容1
    # 需要的内容2
    # 需要的内容3

3.3.3 特殊用法二（标签套标签）

有一个如下的 HTML 文本：

<!DOCTYPE html><html><head lang="en">
    <meta charset="UTF-8">
    <title></title></head><body>
    <div id="test3">
        我左青龙，        <span id="tiger">
            右白虎，            <ul>上朱雀，                <li>下玄武。</li>
            </ul>
            老牛在当中，        </span>
        龙头在胸口。    </div></body></html>

现在想要提取这样的内容：我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口。
那么就要使用 string(.),  实现代码如下：

# 标签套标签def divdivFunc():
    print('标签套标签')    # 获取一个与 XPath 相关的对象
    selector = etree.HTML(html)    # 提取文本
    contents = selector.xpath('//div[@id="test3"]/text()')    # 打印
    print(contents)    # 打印结果: ['\n        我左青龙，\n        ', '\n        龙头在胸口。\n    ']
    # 这里的结果没有打印出标签中的标签的内容

    # 还需要这么做
    datas = selector.xpath('//div[@id="test3"]')    # 获取数组中的第一个元素
    data = datas[0]    # 获取内容
    info = data.xpath('string(.)')    # 字符串替换  '\n'  ->  ''
    content = info.replace('\n', '')    # 字符串替换  '  '  ->  ''
    content = content.replace(' ', '')

    print(content)    # 打印结果: 我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口。

小总结

正在表达式能处理很多的问题了，但是有的时候也会遇到以上 XPath 中介绍的数据结构， 如果还是使用正则表达式的话， 就有点不简单的。以上可以看出使用 XPath 还是很简单的。

四、Python 的并行化

以一个异步获取贴吧数据为例：

#-*-coding:utf8-*-# as 的语法是将 Pool 替换成 ThreadPool 来使用from multiprocessing.dummy import Pool as ThreadPoolimport multiprocessingimport requestsimport time# 存储所有的 urlurls = []# 获取所有的 urldef getURLs():
    for i in range(1, 21):        # 生成连接
        newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)        # 添加到 urls 列表中
        urls.append(newpage)# 爬去数据def getsource(url):
    requests.get(url)
    print(url)# 单线程获取数据def sigleFunc():
    startTime = time.time()    for url in  urls:
        getsource(url)

    endTime = time.time()

    print(u'单线程耗时' + str(endTime-startTime))# 并行处理def poolFunc():
    count = multiprocessing.cpu_count();
    print(count)

    startTime = time.time()

    pool = ThreadPool(count)
    results = pool.map(getsource, urls)
    pool.close()
    pool.join()

    endTime = time.time()

    print(u'耗时' + str(endTime - startTime))if __name__ == '__main__':    # 获取所有的 URL
    getURLs()    # 单线程
    sigleFunc()    # 多线程(并行)
    poolFunc()

Log日志输入如下：

http://tieba.baidu.com/p/3522395718?pn=1http://tieba.baidu.com/p/3522395718?pn=2http://tieba.baidu.com/p/3522395718?pn=3http://tieba.baidu.com/p/3522395718?pn=4http://tieba.baidu.com/p/3522395718?pn=5http://tieba.baidu.com/p/3522395718?pn=6http://tieba.baidu.com/p/3522395718?pn=7http://tieba.baidu.com/p/3522395718?pn=8http://tieba.baidu.com/p/3522395718?pn=9http://tieba.baidu.com/p/3522395718?pn=10http://tieba.baidu.com/p/3522395718?pn=11http://tieba.baidu.com/p/3522395718?pn=12http://tieba.baidu.com/p/3522395718?pn=13http://tieba.baidu.com/p/3522395718?pn=14http://tieba.baidu.com/p/3522395718?pn=15http://tieba.baidu.com/p/3522395718?pn=16http://tieba.baidu.com/p/3522395718?pn=17http://tieba.baidu.com/p/3522395718?pn=18http://tieba.baidu.com/p/3522395718?pn=19http://tieba.baidu.com/p/3522395718?pn=20单线程耗时18.2060580253601078http://tieba.baidu.com/p/3522395718?pn=3http://tieba.baidu.com/p/3522395718?pn=8http://tieba.baidu.com/p/3522395718?pn=2http://tieba.baidu.com/p/3522395718?pn=5http://tieba.baidu.com/p/3522395718?pn=6http://tieba.baidu.com/p/3522395718?pn=7http://tieba.baidu.com/p/3522395718?pn=4http://tieba.baidu.com/p/3522395718?pn=1http://tieba.baidu.com/p/3522395718?pn=14http://tieba.baidu.com/p/3522395718?pn=13http://tieba.baidu.com/p/3522395718?pn=10http://tieba.baidu.com/p/3522395718?pn=12http://tieba.baidu.com/p/3522395718?pn=9http://tieba.baidu.com/p/3522395718?pn=15http://tieba.baidu.com/p/3522395718?pn=11http://tieba.baidu.com/p/3522395718?pn=16http://tieba.baidu.com/p/3522395718?pn=19http://tieba.baidu.com/p/3522395718?pn=18http://tieba.baidu.com/p/3522395718?pn=20http://tieba.baidu.com/p/3522395718?pn=17耗时2.678765058517456

结论： 使用并行处理， 可以节省不少的时间。

lesliehu2158
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Xpath解析
weixin_41628764的博客
07-02 278
一、原理 XPath是在xml中搜索内容的一门语言，html是xml语言的一种子集。 xml的例子： <book> <id>1</id> <name>追风筝的人</name> <author> <nick>卡勒德·胡赛尼</nick> <nike>Khaled Hosseini</nick> </author&g
python爬虫-数据解析（xpath）
qq_43710889的博客
03-22 1万+
文章目录xpath基本概念xpath解析原理环境安装如何实例化一个etree对象：xpath(‘xpath表达式’)xpath爬取58二手房实例爬取网址完整代码效果图xpath图片解析下载实例爬取网址完整代码效果图xpath爬取全国城市名称实例爬取网址完整代码效果图xpath爬取简历模板实例爬取网址完整代码效果图 xpath基本概念 xpath解析：最常用且最便捷高效的一种解析方式。通用性强。 xpath解析原理 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中 2.调用et
xpath的使用
jasonjkj的博客
04-20 206
xpath的基本使用: Xpath的学习:     0.参考         https://www.w3.org/TR/xpath/         http://www.w3school.com.cn/xpath/index.asp         https://zhuanlan.zhihu.com/p/29436838     1.xPath的概念:         XML
Jmeter-XPath提取器
weixin_42724501的博客
11-02 1908
转载： https://www.cnblogs.com/du-hong/p/13277701.html Xpath提取器，如果请求返回的消息为xml或html格式的，可以用XPath提取器来提取需要的数据。 1、我们先来看看这个 Xpath提取器长得是啥样子，路径：线程组 > 添加 > 后置处理器 > Xpath提取器，如下图所示： 2、关键参数说明如下： APPly to: 作用范围（返回内容的断言范围） 　　 Main sample and sub-samples:作用于父节点的取
正则表达式 re.findall 用法、元素定位方式Xpath总结、python操作json和csv（转）
MaxineZhou的博客
04-15 3419
1.正则 re.findall 的简单用法 https://www.cnblogs.com/xieshengsen/p/6727064.html 2.xpath定位总结 https://blog.csdn.net/hou_angela/article/details/80305828 3.python操作json和csv https://www.cnblogs.com/onefine/p...
知识点-re和xpath高级用法
weixin_42357472的博客
10-25 1738
##1.re正则表达式 特殊字符: ^：代表以该字符为开头。如^b就是b为开头。 .: 代表任意一个字符。如^b.就是b开头后面一个字母任意 *: 代表前一个字符可以出现任意次（0个也可以）。如^b.*就是b开头后面可有任意数个任意字母 $: 代表前一个字符为结尾符合。 如:.*3$就是以3为结尾的任意字符串 ?：非贪婪匹配。一般情况从右往左匹配正则，?可以实现从左往右，非贪婪指遇到第一个就结束...
Python网络爬虫--数据提取xpath
weixin_50267049的博客
11-11 1799
一、xpath简介 XPath，即为XML路径语言（XMLPathLanguage），它是一种用来确定XML文档中某部分位置的语言。 xml和html异同： 都是玩标签，标签中都有属性 xml必须为双标签，html单双都可 xml标签为自定义，html标签都为内置 XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 二、xpath使用 xpath使用： 1.导入lxml.etree：from lxm
python爬虫学习代码
02-29
在IT领域，Python爬虫是一种广泛使用的工具，用于自动化地从互联网上获取大量数据。Python语言以其简洁的语法和丰富的库支持，成为开发爬虫的理想选择。本篇将深入探讨Python爬虫的基础知识，包括网络爬虫的概念、...
python 中爬虫 requests 包的基本使用代码实例
11-27
python 中爬虫 requests 包的基本使用代码实例: req_base, req_bs4, req_agent, req_login, req_ocr, req_xpath, req_pool, req_selenium.
python爬虫案例CnkiSpider-master.zip
06-04
【Python爬虫案例CnkiSpider-master.zip】是一个关于使用Python进行网络爬虫开发的实践项目，主要目标是抓取中国知网（CNKI）的相关数据。该项目涉及到多个Python爬虫技术，包括网页解析、数据提取、请求管理等。...
Python爬虫基础类库源码示例.zip
10-26
Python爬虫技术是数据获取和网络自动化的重要工具，尤其在信息时代，对于数据挖掘和分析具有举足轻重的地位。本资源"Python爬虫基础类库源码示例.zip"包含了一系列的Python爬虫基础类库的源码实例，旨在帮助初学者更...
python-使用python开发的爬虫项目.zip
03-06
在这个名为"python-使用python开发的爬虫项目.zip"的压缩包中，我们可以找到一个完整的Python爬虫项目实例，这将为我们提供一个学习和实践Python爬虫的宝贵资源。 爬虫项目通常包括以下几个关键部分： 1. **数据...
使用Requests+xpath实现简单的数据爬取
热门推荐
mockingbirds的专栏
04-30 3万+
今天使用Requests+xpath实现简单的数据爬取，获取的是CSDN博客上的标题，发表时间，和阅读次数下载PyCharm这里我使用的是PyCharmhttp://www.jetbrains.com/pycharm/download/download-thanks.html?platform=windows&code=PCC 关于PyCharm的使用方法，和AndroidStudio是一样的，这
python 使用re实现xpath节点功能
gumengkai的博客
09-20 1922
#! /usr/bin/python # #encoding:utf-8 import re #!/usr/bin/python #encoding:utf-8 import re def foo(xpath, content): print xpath if xpath.startswith('/'): arr= xpath[1:].split('/', 1
python3爬虫：用正则re匹配Xpath提取的数字数据以及用replace去掉数据中的特殊符号
【八月长安tsliao】的博客
06-15 6088
replace 替换字符串中的特殊符号 数据中含有逗号，需要把它去掉，代码如下： result = '45,4564' result = str.replace(result,",",'') print(result) 正则匹配数据中的数字 一开始用XPATH提取的result 用下面re进行匹配： results = re.findall(r"\d+\.?\d*",result) 匹配之...
python中的re模块（正则表达式）和Xpath使用
NumOneDD的博客
08-26 9838
<?xml version="1.0" encoding="UTF-8"?> <bookstore> <book> <title lang="eng">Harry Potter</title> <price>29.99</price> </book> <book> <title lang="eng">Learning XML</title> &...
Python 正则表达式
weixin_43932656的博客
09-15 341
目录1 正则表达式语法1.1 行定位符1.2 元字符1.3 重复1.4 字符类 1 正则表达式语法 1.1 行定位符 "^“表示行的开始,”$"表示行的结尾. 1.2 元字符 常用元字符 代码 说明 . 匹配除换行符以外到任意字符 \w 匹配字母或数字或下划线或汉字 \s 匹配任意的空白符 \d 匹配数字 \b 匹配单词的开始或结束 ^ 匹配字符串的开始 $ 匹配字符串的结束 1.3 重复 常用限定符 限定符 说明 举例 ? 匹配前面的字符零次或一
Xpath和re常用语法
weixin_44388373的博客
07-28 476
【代码】Xpath和re常用语法。
嵌入式系统开发：深入理解信号机制及其在进程通信中的应用
最新发布
08-24
这篇文件是一份关于嵌入式系统中信号机制的详细介绍，它不仅涵盖了信号的基本概念和特性，还深入探讨了信号的基本操作和应用场景。信号是软件中断的一种模拟，它允许异步进程中断正在运行的进程，以处理突发事件。这种机制对于嵌入式系统尤为重要，因为它可以确保系统对外部事件做出快速响应。 文档首先解释了信号的异步通信特性，即进程无需等待信号的到来，也无法预知信号何时到达。接着，它详细介绍了信号的命名规则和如何在Linux系统中查看信号与数字编码的对应关系。例如，使用命令kill -l可以列出所有信号及其对应的数字编码。 进一步，文档列举了产生信号的几种情况，包括用户操作、硬件异常、软件异常、调用kill函数和运行kill命令。每种情况下，文档都提供了详细的解释和示例，帮助读者理解信号是如何在不同情境下产生的。 文档还介绍了进程收到信号后的几种处理方式：忽略信号、执行系统默认动作或自定义信号处理函数。特别强调了SIGKILL和SIGSTOP信号不能被忽略，因为它们提供了一种可靠的进程终止方法。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值