XPath与多线程爬虫

最新推荐文章于 2023-06-22 22:40:47 发布
最新推荐文章于 2023-06-22 22:40:47 发布
阅读量2k 收藏 8
点赞数 5
分类专栏： Python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/twc829/article/details/51585091
版权

一、神器XPath的介绍与配置

1 XPath是什么？

XPath，即XML路径语言（XML Path Language），是确定XML文档中某位置的语言，基于XML的树状结构，提供在数据结构树中寻找节点的能力。

简言之，XPath是一门语言，可以在XML文档中查找信息，支持HTML，通过元素和属性进行导航；

XPath用以提取信息，类似于正则表达式，但比正则表达式厉害、简单，因为使用正则表达式时即使是正确的，却也没法获取需要的信息，或网页原代码结构复杂，不知道如何使用正则表达式进行匹配。


2 安装lxml库

方法1：使用easyinstall

方法2：使用pip install lxml

方法3；https://pypi.python.org/pypi，搜索lxml，选择lxml 3.5.0 package，显示最新版本是3.6.0，点击进入，根据自己安装Python版本、计算机32位/64位，选择以.whl为扩展名的lxml File——lxml-3.6.0-cp27-none-win_amd64.whl (md5)进行下载，将文件扩展名修改成.zip，打开并把压缩文件的中的lxml文件夹放置在安装Python目录下的Lib文件夹中


3 使用lxml库

from lxml import etree          # 导入etree
Selector=etree.HTML(网页源代码) # 转化成被xpath识别和匹配的对象，并赋值给Selector变量
Selector.xpath(一段神奇的符号)  # 提取感兴趣的内容




二、神器XPath的使用

先导问题：想要找到极客学院的办公大楼

使用正则表达式：寻找的大楼左边有一个三角形的建筑，右边有一个圆形建筑，而中国很大，需要很多时间才能找到；

使用XPath：寻找的大楼在北京市海淀区某某路某某号；

1 XPath与HTML结构

HTML是树状结构，可逐层展开， 利用该特点可逐层定位，在逐层定位的基础上寻找独立节点。

举例：

打开一个网站：


查看器源代码：

<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>

    <div id="url">
        <a href="http://jikexueyuan.com">极客学院</a>
        <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a>
    </div>
</div>

</body>
</html>

使用正则表达式匹配时，使用先抓大后抓小原则，先匹配ul标签，在匹配的结果中再匹配li标签，需要使用多行代码才能实现；

使用XPath匹配时，只需要一行代码即可实现：


2 获取网页元素的XPath

2.1 手动分析法

html -> body -> div -> ul[@useful] -> li

2.2 Chrome生成法

右击页面点击审核元素 -> 对想要的信息的一行（“这是第一条信息”）右击点击Copy Xpath -> 粘贴到记事本，内容是//*[@id="useless"]/li[1]

其中，id="useless"对应标签<ul id="useful">；又因为整个源代码只有一处id="useful"，因此只是用id即可，不用指定标签，使用*代替；li[1]只代表第一条信息，若想要所有信息，需要li，则以列表形式返回；//表示从什么地方开始，


3 应用Xpath提取内容

//定位根节点

/往下层寻找

/text()提取文本内容

/@XXX提取XXX属性内容

#-*-coding:utf8-*-
import lxml
from lxml import etree
html = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title>测试-常规用法</title>
</head>
<body>
<div id="content">
    <ul id="useful">
        <li>这是第一条信息</li>
        <li>这是第二条信息</li>
        <li>这是第三条信息</li>
    </ul>
    <ul id="useless">
        <li>不需要的信息1</li>
        <li>不需要的信息2</li>
        <li>不需要的信息3</li>
    </ul>

    <div id="url">
        <a href="http://jikexueyuan.com">极客学院</a>
        <a href="http://jikexueyuan.com/course/" title="极客学院课程库">点我打开课程库</a>
    </div>
</div>

</body>
</html>
'''

# 转化成被xpath识别和匹配的对象，并赋值给Selector变量 
selector = etree.HTML(html)

#提取文本
content = selector.xpath('//ul[@id="useful"]/li/text()')
# 限定id="useful"属于ul标签
# content = selector.xpath('//ul/li/text()')获取的内容有需要的和不需要的
# 因为ul标签里的id="useful"是独一无二的，可直接寻找；但保险写法是content=Selector.xpath('//div[@id="content"]/ul[@id="useful"/li/text()]')
for each in content:
    print each

print

#提取属性href
link = selector.xpath('//a/@href')
# 保险写法link=Selecotr.xpath('//div[@id="url"]/a/@href')
for each in link:
    print each

print

#提取属性title
title = selector.xpath('//a/@title')
print title[0]

运行程序：

这是第一条信息
这是第二条信息
这是第三条信息


http://jikexueyuan.com
http://jikexueyuan.com/course/


极客学院课程库


三、神器XPath的特殊用法

1 以相同的字符开头

使用start-with(@属性名称, 属性字符相同部分)；

用以处理如下形式：

#-*-coding:utf8-*-
from lxml import etree

html1 = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test-1">需要的内容1</div>
    <div id="test-2">需要的内容2</div>
    <div id="testfault">需要的内容3</div>
</body>
</html>
'''
# 想要提取这三部分内容，而其id内容是不同的，但前4个字符都是test
# 使用正则表达式也可以提取，但需要对其分别识别，即使用三行代码才能实现
# 而是用xpath只需要一行代码就可解决

selector=etree.HTML(html1)
content=selector.xpath('//div[starts-with(@id,"test")]/text()')
# 提取在id属性值以test开头的所有div标签，并以列表形式返回
for each in content:
	print each

执行结果：

需要的内容1
需要的内容2
需要的内容3



2 标签套标签

使用string(.)过滤多余标签；

用以处理如下形式，想要提取整个内容：

    <div id="test3">
        我左青龙，
        <span id="tiger">
            右白虎，
            <ul>上朱雀，
                <li>下玄武。</li>
            </ul>
            老牛在当中，
        </span>
        龙头在胸口。
    </div>

2.1 先结合上节知识进行匹配：

#-*-coding:utf8-*-
from lxml import etree

html2 = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test3">
        我左青龙，
        <span id="tiger">
            右白虎，
            <ul>上朱雀，
                <li>下玄武。</li>
            </ul>
            老牛在当中，
        </span>
        龙头在胸口。
    </div>
</body>
</html>
'''

selector=etree.HTML(html2)
content=selector.xpath('//div[@id="test3"]/text()')
for each in content:
	print each

执行结果：

结果只提取了第一句和最后一句内容；

用此方法只能提取div标签直接的文字内容，无法提取div标签内其他标签的直接内容。

        我左青龙，
        


        龙头在胸口。

2.2 再用string(.)进行匹配：

#-*-coding:utf8-*-
from lxml import etree

html2 = '''
<!DOCTYPE html>
<html>
<head lang="en">
    <meta charset="UTF-8">
    <title></title>
</head>
<body>
    <div id="test3">
        我左青龙，
        <span id="tiger">
            右白虎，
            <ul>上朱雀，
                <li>下玄武。</li>
            </ul>
            老牛在当中，
        </span>
        龙头在胸口。
    </div>
</body>
</html>
'''

# 使用先大后小的方法，首先提取id属性为test3的div标签，对返回的元素继续使用xpath
selector=etree.HTML(html2)
data=selector.xpath('//div[@id="test3"]')[0]
info=data.xpath('string(.)')
content=info.replace('\n','').replace(' ','')
print content

执行结果：

我左青龙，右白虎，上朱雀，下玄武。老牛在当中，龙头在胸口。




四、Python并行化介绍与演示

1 Python并行化介绍

多个线程同时处理任务，更加高效、快速；


2 map的使用

map函数一手包办了序列操作、参数传递和结果保存等一系列的操作;

首先导入Pool类，再实例化Pool，然后指定爬取函数即网址列表进行并行化处理：

from multiprocessing.dummy immport Pool
pool = Pool(4) # 表示四核
results = pool.map(爬取函数名, 网址列表)

举例：

#-*-coding:utf8-*-

from multiprocessing.dummy import Pool as ThreadPool
# 导入Pool类，并重命名为ThreadPool
import requests
import time

def getsource(url):
    html = requests.get(url)

urls = []

for i in range(1,21):
    newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)
    urls.append(newpage)

time1 = time.time() # 开始计时
for i in urls:
    print i
    getsource(i)
time2 = time.time() # 结束计时
print u'单线程耗时：' + str(time2-time1)

pool = ThreadPool(4)
time3 = time.time()
results = pool.map(getsource, urls)
pool.close()
pool.join()
time4 = time.time()
print u'并行耗时：' + str(time4-time3)

运行结果：

单线程耗时：9.08299994469
并行耗时：2.625




五、实战——百度贴吧爬虫

1 目标网站

http://tieba.baidu.com/p/3522395718

2 目标内容

前20页的跟帖用户名、跟帖内容、跟帖时间

3 涉及知识点

requests获取网页源代码、xpath获取网页内容、map实现多线程爬虫


4 步骤

1‘ 确定爬虫内容目标网站

点击以上网站转到该帖吧的首页，点击下一页时网站更改为：http://tieba.baidu.com/p/3522395718?pn=2；

由此确定前20页的网站为：http://tieba.baidu.com/p/3522395718?pn=<num>，其中<num>取值为1~20；

2’ 使用Chrome的审核元素功能确定爬取内容的位置

点击左侧放大镜，鼠标移至要爬取的内容（这里指“跟帖内容”）并点击，审核元素自动定位到相应位置；

右击拷贝XPath，粘贴至文本中，观察到其中的"62866844122"在每个跟帖内容都不一样，因此无法使用现成的XPath作为定位标志进行匹配；

//*[@id="post_content_62866844122"]

只能观察并获取要爬取内容的对应路径，折叠代码发现每个跟帖信息都在class属性值为"l_post j_l_post l_post_bright "div的标签的中；

跟帖用户名、跟帖时间分别在上述div标签中data-field属性中的author的user_name中和content的date中；

跟帖内容在上述标签的元素子节点class属性值为"d_post_content_main"的元素子节点div标签下的元素子节点cc标签下的元素子节点class属性值为"d_post_content j_d_post_content clearfix"下的文本内容；

3’ 编程前注意事项

data-field保存的数据是JSON格式，需要导入json模块进行JSON解析；

（也可以使用正则表达式解析）


5 代码

#-*-coding:utf8-*-
from lxml import etree   #使用xpath进行定位
from multiprocessing.dummy import Pool as ThreadPool   # 使用map进行并行化处理
import requests
import json   # 百度贴吧的data-field属性值是用json，需要使用json模块进行解析，也可用正则表达式解析
import sys
reload(sys)
sys.setdefaultencoding('utf-8')

'''重新运行之前请删除content.txt，因为文件操作使用追加方式，会导致内容太多。'''

# 将爬取的内容写入content.txt文件中
# 注意！！！对于显示内容，需要进行单步调试确定当前数据格式，如有必要需要转换
def towrite(contentdict):
    f.writelines(u'回帖时间:' + contentdict['topic_reply_time'] + '\n')
    f.writelines(u'回帖内容:' + contentdict['topic_reply_content'] + '\n')
    f.writelines(u'回帖人:' + contentdict['user_name'] + '\n\n')

# 爬取函数
def spider(url):
    html = requests.get(url)   # 获取url
    selector = etree.HTML(html.text)     # 使用etree.HTML转换成XPath可处理的对象
    # 使用XPath获取一整个div，即先抓大
    content_field = selector.xpath('//div[@class="l_post j_l_post l_post_bright  "]')
    item = {}   # 字典，爬取的内容放入该字典中
    for each in content_field:
        # 先将述标签复制元素并粘贴到文本中，对于要爬取的data-field数据，将'"'替换为空
        # 因为data-field数据是JSON格式，因此需要使用json.loads()将JSON格式解析成字典格式
        reply_info = json.loads(each.xpath('@data-field')[0].replace('"',''))
        author = reply_info['author']['user_name']
        reply_time = reply_info['content']['date']
        content = each.xpath('div[@class="d_post_content_main"]/div/cc/div[@class="d_post_content j_d_post_content  clearfix"]/text()')[0]
        print content
        print reply_time
        print author
        item['user_name'] = author
        item['topic_reply_content'] = content
        item['topic_reply_time'] = reply_time
        towrite(item)

if __name__ == '__main__':
    pool = ThreadPool(4)
    f = open('content.txt','a')
    page = []
    for i in range(1,21):
        newpage = 'http://tieba.baidu.com/p/3522395718?pn=' + str(i)
        page.append(newpage)

    results = pool.map(spider, page)
    pool.close()
    pool.join()
    f.close()


6 涉及知识点总结

6.1 多进程的使用

6.1.1 导入进程池Pool

from multiprocessing.dummy import Pool as ThreadPool

6.1.2 实例化Pool

pool=ThreadPool(4)    # 4代表共有4个进程进行处理，要根据自己电脑的配置，双核填2，四核填4

6.1.3 多进程处理

pool.map(函数名, 参数列表)

6.1.4 关闭进程池Pool

pool.close();       # 等待进程池中的进程执行完毕再关闭进程池
pool.terminate();   # 直接关闭进程池

6.1.5 防止主进程在进程结束前结束

pool.join();

6.2 JSON

6.2.1 序列化

序列化：将对象的状态信息转化为可以存储或可以通过网络传输的过程，传输格式可以使JSON、XML等；

反序列化：从存储区域（JSON、XNL）读取反序列化对象的状态，重新创建该对象。

6.2.2 JSON

JSON ( JavaScript Object Notation )是一种轻量级数据交换格式，相对于XNL更简单，也易于阅读和编写，机器也方便解析和生成，

JSON构建于2种结构：

a ”名称/值“对的集合

b 值的有序列表

6.2.3 编码与解码

a 编码Encoding

概念：把一个Python对象编码转换为JSON字符串

方法：json.dumps()

转换规律：

PythonJSON
dictionaryobject
list, tuplearray
string, unicodestring
int, long, floatnumber
Truetrue
Falsefalse
Nodenull


b 解码Decoding

概念：把JSON格式字符串解码转换为Python对象

方法：json.loads()

转换规律：

JSONPython
objectdictionary
arraylist
stringunicode
number (int)int, long
number (real)float
true/ falseTrue/ False
nullNone

 6.2.4 可选参数

dumps方法提供一些可选参数，使输出格式更具有可读性；

a sort_keys参数

含义：使编码器按照字典排序（a到z）输出

举例：

import json

data = [ { 'a':'A', 'b':(2, 4), 'c':3.0 } ]
print 'DATA:', repr(data)

unsorted = json.dumps(data)
print 'JSON:', json.dumps(data)
print 'SORT:', json.dumps(data, sort_keys=True)

输出：

DATA: [{'a': 'A', 'c': 3.0, 'b': (2, 4)}]
JSON: [{"a": "A", "c": 3.0, "b": [2, 4]}]
SORT: [{"a": "A", "b": [2, 4], "c": 3.0}]

注意：repr()内置函数是对Python友好，返回参数在Python中的描述。

b indent参数

含义：根据数据格式缩进显示

举例：

import json

data = [ { 'a':'A', 'b':(2, 4), 'c':3.0 } ]
print 'DATA:', repr(data)

print 'NORMAL:', json.dumps(data, sort_keys=True)
print 'INDENT:', json.dumps(data, sort_keys=True, indent=2)

输出：

DATA: [{'a': 'A', 'c': 3.0, 'b': (2, 4)}]
NORMAL: [{"a": "A", "b": [2, 4], "c": 3.0}]
INDENT: [
{
"a": "A",
"b": [
2,
4
],
"c": 3.0
}
]

c separators参数

含义：去掉','和':'后面的空格

举例：

import json

data = [ { 'a':'A', 'b':(2, 4), 'c':3.0 } ]
print 'DATA:', repr(data)
print 'repr(data)             :', len(repr(data))
print 'dumps(data)            :', len(json.dumps(data))
print 'dumps(data, indent=2)  :', len(json.dumps(data, indent=2))
print 'dumps(data, separators):', len(json.dumps(data, separators=(',',':')))

输出：

DATA: [{'a': 'A', 'c': 3.0, 'b': (2, 4)}]
repr(data) : 35
dumps(data) : 35
dumps(data, indent=2) : 76
dumps(data, separators): 29


6.3 XPath

语法：

import requests
# 从lxml模块中导入etree类
from lxml import etree

url='网站地址'
html=requests.get(url)

# 将获取到的源代码对象html转换成可被XPath识别和匹配的对象
Selector=etree.HTML(html)

# 使用xpath方法进行文本匹配
content=Selector.xpath('参数')


--------------------------------------------

课程总结：

使用Xpath提取网页内容

使用map实现多线程爬虫


b
不知道
不知道
twc829
关注
  • 5
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
XPath 使用方法
07-16
xpath的使用方法
XPath详解教程
PY洋洋
01-14 2万+
目录 1. XPath 概览 2. XPath 常用规则 3. 准备工作 4.实例引入 5.所有节点 6. 子节点 7.父节点 8.属性匹配 9.文本获取 10.属性获取 11.属性多值匹配 12. 多属性匹配 13.按序选择 14. 节点轴选择 结语
XPath超详细总结
qq_44619675的博客
02-22 1万+
XPath XPath，全称 XML Path Language，即 XML 路径语⾔，它是⼀⻔在 XML ⽂档中查找信息的语⾔。最初是⽤来搜寻 XML ⽂档的，但同样适⽤于 HTML ⽂档的搜索。所以在做爬⾍时完全可以使⽤ XPath做相应的信息抽取。 1、XPath概览 XPath 的选择功能⼗分强⼤，它提供了⾮常简洁明了的路径选择表达式。另外，它还提供了超过100 个内建函数，⽤于字符串、数值、时间的匹配以及节点、序列的处理等，⼏乎所有想要定位的节点都可以⽤ XPath 来选择。      官⽅⽂档：
Python : Xpath简介及实例讲解
热门推荐
xiaobai729的博客
04-11 3万+
文章目录一、Xpath简介二、Xpath语法规则语法规则标签定位属性定位索引定位取文本内容三、语法规则练习 前言 本篇文章只是简单介绍一下Xpath及使用，总体来说比较基础。 一、Xpath简介 XPath（XML Path Language - XML路径语言），它是一种用来确定XML文档中某部分位置的语言。 Xpath以XML为基础，提供用户在数据结构树中寻找节点的能力，Xpath被很多开发者亲切的称为小型查询语言。 二、Xpath语法规则 xpath可以使用路径表达式在XML上选取节点，从而达到确
xpath介绍
m0_71494659的博客
06-22 4963
xpath是XML路径语言，它可以用来确定xml文档中的元素位置，通过元素路径来完成对元素的查找。HTML就是XML的一种实现方式，所以xpath是一种非常强大的定位方式。使用xpath需要在你的python里面安装lxml，操作方式：pip install lxml。
Python 爬虫学习笔记之多线程爬虫
01-20
刚学过正则表达式，用的正顺手，现在就把正则表达式替换掉，使用 XPath，有人表示这太坑爹了，早知道刚上来就学习 XPath 多省事 啊。其实我个人认为学习一下正则表达式是大有益处的，之所以换成 XPath ，我个人认为...
实现多线程爬虫与ES新闻搜索引擎.zip
03-08
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
基于Java的多线程爬虫框架.zip
03-06
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
网站热门头条的多线程爬虫.zip
03-01
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
多线程爬虫-dmm预告片.zip
01-20
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
多线程爬虫出现报错AttributeError: ‘NoneType’ object has no attribute ‘xpath’
12-21
多线程爬虫出现报错AttributeError: ‘NoneType’ object has no attribute ‘xpath’一、前言二、问题三、思考和解决问题四、运行效果 一、前言 mark一下，本技术小白的第一篇CSDN博客！ 最近在捣鼓爬虫，看的是...
QQ空间多线程爬虫和数据挖掘.zip
03-01
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
基于python的高性能爬虫程序，使用了多线程+缓存+xpath实现的，这里以彼-岸图库为例，实现，仅用于学习交流
最新发布
04-27
本程序是一套基于Python语言开发的高性能网络爬虫，其核心架构采用了多线程技术、缓存机制以及XPath解析器。该爬虫的设计理念和实现方法以彼岸图库为具体应用场景，但并不局限于此。 在多线程技术的加持下，该程序...
百度图片多线程爬虫，多线程爬取和下载图片.zip
03-08
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
写代码啦项目-多线程爬虫与ES新闻搜索引擎.zip
03-08
URL收集： 爬虫从一个或多个初始URL开始，递归或迭代地发现新的URL，构建一个URL队列。这些URL可以通过链接分析、站点地图、搜索引擎等方式获取。 请求网页： 爬虫使用HTTP或其他协议向目标URL发起请求，获取网页的...
Xpath的使用
W_chuanqi的博客
07-20 3066
📋个人简介💖作者简介大家好，我是W_chuanqi，一个编程爱好者😀支持我💬愿你我共勉“若身在泥潭，心也在泥潭，则满眼望去均是泥潭；若身在泥潭，而心系鲲鹏，则能见九万里天地。”✨✨✨。...
xpath的基本使用
weixin_43788986的博客
07-21 1581
首先我们先找一个html作为实验，可以随便在网上找个网址即可： 前期获取html如下： 1.选取所有节点 // 开头的 XPath 规则来选取所有符合要求的节点， * 代表匹配所有节点，也就是整个 HTML 文本中的所有节点都会被获取，可以看到返回形式是一个列表，每个元素是 Element 类型，其后跟了节点的名称，如 html、body、div、ul、li、a 等等，所有的节点都包含在列表中了。 输出一下result： 可以看到输出的是一个列表。 / 或 // 即可查找元素的子节点或子孙节点 我想查找d
学爬虫利器XPath,看这一篇就够了
libaiup的博客
12-19 3594
因为 XPath 中 text() 前面是 /，而此 / 的含义是选取直接子节点，而此处很明显 li 的直接子节点都是 a 节点，文本都是在 a 节点内部的，所以这里匹配到的结果就是被修正的 li 节点内部的换行符，因为自动修正的li节点的尾标签换行了。第一次选择我们调用了 ancestor 轴，可以获取所有祖先节点，其后需要跟两个冒号，然后是节点的选择器，这里我们直接使用了 *，表示匹配所有节点，因此返回结果是第一个 li 节点的所有祖先节点，包括 html，body，div，ul。
xpath介绍 xpath使用 xpath常用函数 Chrome自动生成Xpath 表达式 [10分钟学会xpath]
weixin_45598506的博客
01-19 1881
Xpath 使用1.什么是Xpath2.Xptah解析原理3.如何安装Xpath4.如果使用Xpath5.Xpath 表达式5.Xpath 常用函数6.Chrome自动生成Xpath 表达式 1.什么是Xpath XPath，全称 XML Path Language，即 XML 路径语言，它是一门在 XML 文档中查找信息的语言。最初是用来搜寻 XML 文档的，但同样适用于 HTML 文档的搜索。使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来
编写爬取起点小说网的多线程爬虫
03-28
以下是使用Python编写的爬取起点小说网的多线程爬虫代码： ```python import requests from lxml import etree from queue import Queue import threading # 定义爬虫类 class Spider(): def __init__(self, url,...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值