Python爬虫 之数据解析之xpath

最新推荐文章于 2024-01-30 08:30:00 发布
最新推荐文章于 2024-01-30 08:30:00 发布
阅读量3k 收藏 46
点赞数 9
分类专栏： Python 文章标签： python xpath
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45856289/article/details/108092511
版权

数据解析之xpath

一、xpath解析

1、xpath是什么

xpath是最常用且最高效的一种解析方式。通用性很高，不止在Python语言中可以使用，在其它语言中也可以使用。

xpath 全称 XML Path Language，即 XML 路径语言，它是一门 XML 文档中查找信息的语言。它最初是用来搜寻 XML 文档的，但是它同样适用于 HTML 文档的搜索。所以在做爬虫时，我们完全可以使用 xpath 来做相应的信息抽取。

2、xpath解析原理：

① 实例化一个 etree 的对象，且需要将被解析的页面源码数据加载到该对象中。
② 调用 etree 对象中的 xpath 方法，结合着xpath表达式实现标签的定位和内容的捕获。

二、环境的安装

使用xpath解析，只需要安装一个解析器：lxml。而这个解析器在bs4中也需要安装。lxml是一个解析器，也是下面的xpath要用到的库。

环境安装：

pip install lxml

在这里插入图片描述

三、实例化etree对象

首先需要导入模块

from lxml import etree

etree对象同样的有两个操作

1、将本地的 html 文档中的源码数据加载到 etree 对象中：

etree.parse(filePath)
# filePath为文件的路径

2、可以从互联网上获取的源码数据加载到该对象中：

etree.HTML('page_text')
# page_text为从页面获取的源码数据

调用 xpath 方法
使用 xpath 方法需要传入参数，这个参数是一个字符串，而这个字符串就是 xpath表达式。

xpath('xpath表达式')

也就是说在数据解析过程中，最重要的步骤就是xpath表达式的书写。意味着可以根据不同形式的xpath表达式定义不同的标签，并且可以将定位标签的相关文本数据进行获取。

四、xpath表达式

符号含义
/表示的是从根节点开始定位。表示的是一个层级。
//表示的是多个层级。可以表示从任意位置开始定位。

属性定位：

tag[@attrName="attrValue"]
# 例如：
//div[@class="book-mulu"]

索引定位：

# 索引是从[1]开始的
tag[@attrName="attrValue"]/a[num]	# a为标签名，num为第几行
# 例如
//div[@class="book-mulu"]/ul/li[3]
# 也可以表达为：//div[@class="book-mulu"]//li[3]

取文本：

/text()			# 获取标签中直系的文本内容
//text()		# 获取标签中非直系文本内容（所有文本内容）

取属性：

/@attrName
# 例如：img/@src

五、项目实例

实例一

需求：
爬取58同城二手房源信息（以北京市为例）。解析出所有房源的名称，并进行持久化存储。
网址：https://bj.58.com/ershoufang/

思路：

主要就是观察页面的结构，看每个房源的名字所在的标签是哪个。然后写出xpath表达式即可。
在这里插入图片描述
因为所有房源名称都在li标签中，所以我们先将li标签的所有内容都爬取下来。

# xpath表达式
tree.xpath('//ul[@class="house-list-wrap"]/li')

在这里插入图片描述

我们观察到li标签下第二个div标签的h2标签下有名称信息，所有写下xpath表达式。因为这个是局部解析，div上一层标签是li所有div前面要加 “ . ”。

# xpath表达式
title = li.xpath('./div[2]/h2/a/text()')[0]

在这里插入图片描述

代码实现：

# 需求：爬取58通常二手房源信息
import requests
from lxml import etree

if __name__ == '__main__':
    url = 'https://bj.58.com/ershoufang/'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    # 爬取页面源码数据
    page_text = requests.get(url=url,headers=header).text

    # 页面解析
    tree =etree.HTML(page_text)
    li_list = tree.xpath('//ul[@class="house-list-wrap"]/li')
    fp = open('58.txt','w',endcoding='utf-8')
    for li in li_list:
        # 局部解析
        # 一定要加 . 这个 . 表示的就是局部定位到的标签
        title = li.xpath('./div[2]/h2/a/text()')[0]
        print(title)
        # 存入文件
        fp.write(title + '/n')

实例二

需求：
爬取《红楼梦》所有章节的标题。
网址：https://www.shicimingju.com/book/hongloumeng.html

思路：

主要是对xpath表达式的书写。通过观察标签写出xpath表达式。
在这里插入图片描述

# xpath表达式
tree = etree.xpath('//div[@class="card bookmark-list"]/div[4]/ul/li/a/text()')

代码实现：

import requests
from lxml import etree

if __name__ == '__main__':
    url = 'https://www.shicimingju.com/book/hongloumeng.html'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    # 爬取页面源码数据
    page_text = requests.get(url=url,headers=header).text
    # 实例化etree
    tree = etree.HTML(page_text)
    # xpath表达式
    list1 = tree.xpath('//div[@class="card bookmark-list"]/div[4]/ul/li/a/text()')
    for li in list1:
        title = li
        print(title)

# 爬取《三国演义》小说，与上述《红楼梦》原理相同
import  requests
from lxml import etree

if __name__ == '__main__':
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/84.0.4147.135 Safari/537.36'
    }
    url = 'https://www.shicimingju.com/book/sanguoyanyi.html'
    page_text = requests.get(url=url,headers=header).text
    # 实例化etree对象
    tree = etree.HTML(page_text)
    list1 = tree.xpath('//*[@id="main_left"]/div/div[4]/ul/li')
    for li in list1:
    	# 标题
        title = li.xpath('./a/text()')[0]
        print(title)
        new_url = 'https://www.shicimingju.com' + li.xpath('./a/@href')[0]
        
        new_page_text = requests.get(url=new_url,headers=header).text
        new_tree = etree.HTML(new_page_text)
        # 文章内容
        list2 = new_tree.xpath('//*[@id="main_left"]/div[1]/div/p')
        for i in list2:
            words = i.xpath('./text()')[0]
            print(words)

实例三

需求：
解析下载图片数据。
网址：http://pic.netbian.com/4kfengjing/

思路：
主要是对 xpath表达式的书写，和怎样处理中文乱码。
xpath表达式可以从< div class = “slist”>标签开始，也可以从更上面的标签开始，比如< idv id = “main” > 可以从这里开始。
当然两个写法的含义是一样的。

# 1
src_list = tree.xpath('///div[@class="slist"]/ul/li/a/img/@src')
# 2
src_list = tree.xpath('//div[@id="main"]/div[3]/ul/li/a/img/@src')
# 3也可以选择简写
src_list = tree.xpath('///div[@class="slist"]//li/a/img/@src')

在这里插入图片描述

代码实现：

import requests
from lxml import etree
import os

if __name__ == '__main__':
    url = 'http://pic.netbian.com/4kfengjing/'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    # 爬取页面源码数据 获取相应对象
    reponse = requests.get(url=url,headers=header)
    # 手动设置响应数据编码格式
    #reponse.encoding = 'utf-8'
    page_text = reponse.text
    # 数据解析，解析src的属性值，解析alt的属性值
    # 实例化etree
    tree = etree.HTML(page_text)
    # xpath表达式
    #src_list = tree.xpath('//div[@id="main"]/div[3]/ul/li/a/img/@src')
    #alt_list = tree.xpath('//div[@id="main"]/div[3]/ul/li/a/img/@alt')
    # 也可以这样写
    src_list = tree.xpath('//div[@class="slist"]/ul/li')

    # 创建一个文件夹
    if not os.path.exists('./tupian'):
        os.mkdir('./tupian')

    for li in src_list:
        img_src = 'http://pic.netbian.com' + li.xpath('./a/img/@src')[0]
        img_alt = li.xpath('./a/img/@alt')[0] + '.jpg'
        # 统用处理解决中文乱码的解决方法
        img_alt = img_alt.encode('iso-8859-1').decode('gbk')
        print(img_alt + " : " + img_src)
        # 图片地址转化成二进制
        img_data = requests.get(url=img_src,headers=header).content
        img_path = 'tupian/' + img_alt
        # 存储
        with open(img_path,'wb') as fp:
            fp.write(img_data)

案例四

需求：
解析出所给网址中全国城市的名称。
网址：https://www.aqistudy.cn/historydata/

思路：

首先实例化xpath对象，然后根据热门城市和全部城市的标签层级关系写出xpath表达式。解析表达式所对应的a标签，然后xpath函数返回一个列表，列表中存的就是a标签对应的城市。然后我们遍历列表即可。

在这里插入图片描述

# 热门城市
hot_city_list = tree.xpath('//div[@class="bottom"]/ul/li')

在这里插入图片描述

# 全部城市
all_city_list = tree.xpath('//div[@class="bottom"]/ul/div[2]/li')

我们无法只通过一共 xpath表达式，将两个层级标签都表示数量，但是我们可以将两个层级标签写在一起，只需要用按位或 “ | ” 进行分割。这个意味着将第一个 xpath表达式或者第二个 xpath表达式，作用到 xpath函数当中。这样可以解析第一个表达式所对应的a标签定位到，也可以将第二个表达式所对应的a标签定位到。

# 用按位或进行分割 “ | ”
a_city_list = tree.xpath('//div[@class="bottom"]/ul/li/a | //div[@class="bottom"]/ul/div[2]/li/a')

xpath返回一个列表，这个列表里面存的是热门城市加全部城市a标签所对应的一个列表。

然后遍历列表即可。

代码实现：
第一种写法：分别解析热门城市和所有城市，然后把这些城市的名字存入列表中。

import requests
from lxml import etree
import os

if __name__ == '__main__':
    url = 'https://www.aqistudy.cn/historydata/'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    # 爬取页面源码数据 获取相应对象
    page_text = requests.get(url=url,headers=header).text

    # 数据解析
    # 实例化对象
    tree = etree.HTML(page_text)
    all_city = [] #所有的城市
    # 热门城市
    hot_city_list = tree.xpath('//div[@class="bottom"]/ul/li')
    for li in hot_city_list:
        hot_city_name = li.xpath('./a/text()')[0]
        all_city.append(hot_city_name)
        #print(hot_city_name)
    # 全部城市
    all_city_list = tree.xpath('//div[@class="bottom"]/ul/div[2]/li')
    for li in all_city_list:
        all_city_name = li.xpath('./a/text()')[0]
        all_city.append(all_city_name)
        #print(all_city_name)
    print(all_city," 一共有：",len(all_city),"个城市")

第二种写法：用按位或将两个层级关系连接。

import requests
from lxml import etree

if __name__ == '__main__':
    url = 'https://www.aqistudy.cn/historydata/'
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    # 爬取页面源码数据 获取相应对象
    page_text = requests.get(url=url,headers=header).text

    # 数据解析
    # 实例化对象
    tree = etree.HTML(page_text)
    all_city = [] #所有的城市
    # 解析到热门城市和所有城市对应的a标签
    # 热门城市对应a标签层级关系：//div[@class="bottom"]/ul/li/a
    # 所有城市对应a标签层级关系：//div[@class="bottom"]/ul/div[2]/li/a
    # 用按位或进行分割 “ | ”
    a_city_list = tree.xpath('//div[@class="bottom"]/ul/li/a | //div[@class="bottom"]/ul/div[2]/li/a')
    for a in a_city_list:
        city_name = a.xpath('./text()')[0]
        all_city.append(city_name)
    print(all_city," 一共有：",len(all_city),"个城市")

案例五

需求：

获取大学生求职简历模板的封面和名称，并且打印下来。
网址：http://sc.chinaz.com/jianli/daxuesheng.html

思路：

首先实例化xpath对象，然后根据图片和名称的标签层级关系写出xpath表达式。解析表达式所对应的a标签，然后xpath函数返回一个列表，列表中存的就是a标签对应的图片和名字。然后我们遍历列表即可。
在这里插入图片描述
当然我们发现每个模板的名字（中文信息）打印出来是乱码，这就需要我们更改编码格式。由于统用处理解决中文乱码的解决方法会报错，无法正常使用，所以我们使用手动设置响应数据编码格式。

reponse = requests.get(url=url,headers=header)
# 手动设置响应数据编码格式
reponse.encoding = 'utf-8'
page_text = reponse.text

我们如何打印所有页的数据呢？
我们观察发现，模板只有13页
而网址也很相似：

第一页：http://sc.chinaz.com/jianli/daxuesheng.html
第二页：http://sc.chinaz.com/jianli/daxuesheng_2.html
第三页：http://sc.chinaz.com/jianli/daxuesheng_3.html
第四页：http://sc.chinaz.com/jianli/daxuesheng_4.html
...
第十三页：http://sc.chinaz.com/jianli/daxuesheng_13.html

我们观察发现除了第一页外其它12页的url只有后面的数字不同，我们可以用字符串拼接的方法将url拼接出来，而那个不同的数字用for循环即可，然后将循环变量强制转换成str型的，最后拼接字符串。而第一页的特殊处理，独立输出，其他页（2到13页）的循环输出。

代码实现：

import requests
from lxml import etree

if __name__ == '__main__':
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4209.2 Safari/537.36'
    }
    
    # 第一页
    # 第一页的url和其它页的有所不同
    url1 ='http://sc.chinaz.com/jianli/daxuesheng.html'
    # 爬取页面源码数据 获取相应对象
    reponse = requests.get(url=url1, headers=header)
    # 手动设置响应数据编码格式
    reponse.encoding = 'utf-8'
    page_text = reponse.text
    # 数据解析
    # 实例化对象
    tree = etree.HTML(page_text)
    src_list = tree.xpath('//div[@id="main"]/div/div')
    for a in src_list:
        img_src = a.xpath('./a/img/@src')[0]
        img_alt = a.xpath('./a/img/@alt')[0]
        # 统用处理解决中文乱码的解决方法
        # 会报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 32: incomplete multibyte sequence
        # img_alt = img_alt.encode('iso-8859-1').decode('gbk')
        print(img_alt, ' : ', img_src)

    # 其他页（2到13页）
    url = 'http://sc.chinaz.com/jianli/daxuesheng'
    for num in range(2,13+1):
        num = str(num)
        new_url = url + '_' + num + '.html'
        # 爬取页面源码数据 获取相应对象
        reponse = requests.get(url=new_url, headers=header)
        # 手动设置响应数据编码格式
        reponse.encoding = 'utf-8'
        page_text = reponse.text
        # 数据解析
        # 实例化对象
        tree = etree.HTML(page_text)
        src_list = tree.xpath('//div[@id="main"]/div/div')
        for a in src_list:
            img_src = a.xpath('./a/img/@src')[0]
            img_alt = a.xpath('./a/img/@alt')[0]
            # 统用处理解决中文乱码的解决方法
            # 会报错：UnicodeDecodeError: 'gbk' codec can't decode byte 0xbf in position 32: incomplete multibyte sequence
            #img_alt = img_alt.encode('iso-8859-1').decode('gbk')
            print(img_alt,' : ',img_src)

六、补充知识

爬取的中文数据出现乱码

解决方法一：

手动设置响应数据编码格式。

reponse = requests.get(url=url,headers=header)
# 手动设置响应数据编码格式
reponse.encoding = 'utf-8'
page_text = reponse.text

解决方法二：

找到发生乱码对应的数据，对该数据进行：encode(‘iso-8859-1’).decode(‘gbk’) 操作。

# 统用处理解决中文乱码的解决方法
img_alt = img_alt.encode('iso-8859-1').decode('gbk')

案例三和案例五就是对这两种处理中文乱码的方法的应用。
案例三：是方法二。统用处理解决中文乱码的解决方法。
案例五：是方法一。手动设置响应数据编码格式。

按位或分割标签

当两个页面数据的层级标签类似时，我们可以使用按位或“ | ”，进行标签分割。这样可以将多个 xpath表达式解析。之间是或的关系。
这个意味着将第一个 xpath表达式或者第二个 xpath表达式，作用到 xpath函数当中。这样可以解析第一个表达式所对应的a标签定位到，也可以将第二个表达式所对应的a标签定位到。

样例：

# 用按位或进行分割 “ | ”
a_city_list = tree.xpath('//div[@class="bottom"]/ul/li/a | //div[@class="bottom"]/ul/div[2]/li/a')

注：详细内容请看案例四

Water_Coder
关注
  • 9
    点赞
  • 踩
  • 46
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Python xpath表达式如何实现数据处理
09-16
主要介绍了Python xpath表达式如何实现数据处理,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
数据解析——xpath
weixin_44302046的博客
09-06 2101
1）安装xpath插件2）在chrome中安装xpath插件3）将xpath拖入即可4）验证xpath1》点击 ctrl + shift + x 出现小黑框，即代表安装成功2》再次点击 ctrl + shift + x 即可关闭小黑框。
[分章：代码知识]python extree xpath解析HTML库
weixin_42645007的博客
01-30 788
str = tree.xpath('//div[@class="index-left"]')[1] # 使用xpath表达式定位标签，返回为对象;str = tree.xpath('//div[@class="index-left"]') # 使用xpath表达式定位标签，返回为对象;# str = tree.xpath('//div[@class="high-quality-list"]//img/@src')[1] # @src为查找所有属性为src的标签。//text()读取标签文本。
Python爬虫——XPath的使用
万里顾一程的博客
07-29 8187
可以用xpath插件来动态的获取xpath路径（将鼠标悬停在需要选取的文本数据上，然后按下shift按键就会自动出现定位该文本的Xpath表达式，然后再根据需求对表达式修改。先发送请求访问网站，得到网站源码，然后解析网站源码，从网站源码中使用xpath表达式定位到需要下载的图片地址，然后用urllib.request.urlretrieve()方法下载。4、调用xpath路径，提取数据，xpath的返回数据是列表类型。2、发送请求访问网站，得到服务器响应的页面源码。使用实例二从网站上下载图片。.......
Python爬虫解析工具之xpath使用详解
程序员小十一的博客
08-19 8232
文中详解介绍了Python爬虫开发中常见的数据解析方式重点是xpath解析工具，如xpath概念、xpath插件安装、lxml库安装、xpath路径表达式、xpath结合Python代码的使用
python数据解析之XPath
yy
09-28 3177
XPath XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。 xpath是最常用且最便捷高效的一种解析方式，通用型强，其不仅可以用于python语言中，还可以用于其他语言中，数据解析建议首先xpath。 XPath使用方法 xpath解析原理： 实例化一个etree的对象，且需要将被解析的页面源代码数据加载到该对象中 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获 安装lxml pip i
Python中利用xpath解析HTML的方法
12-23
在进行网页抓取的时候，分析定位html节点是获取抓取信息的关键，目前我用的是lxml模块(用来分析XML文档结构的，当然也能分析html结构)， 利用其lxml.html的xpath对html进行分析，获取抓取信息。 首先，我们需要安装一个支持xpath的python库。目前在libxml2的网站上被推荐的python binding是lxml，也有beautifulsoup，不嫌麻烦的话还可以自己用正则表达式去构建，本文以lxml为例讲解。 假设有如下的HTML文档: <html> <body> <form> <div id='leftmenu'> <h3>text
python爬虫 ---xpath解析
Hjs_sen的博客
04-20 503
xpath解析: 最常用且最便捷高效的一种解析方式。通用性。 - xpath解析原理: -1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 - 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 - 环境的安装: - pip install lxml -如何实例化一个etree对象:from lxml import etree -1.将本地的html文档中的源码数据加载到etree对象中: etree.parse(filePath） -2.
Python爬虫基础讲解（六）：什么是xpath
Python案例分享，B站视频教程：https://space.bilibili.com/523606542
05-14 410
Python爬虫、数据分析、网站开发等案例教程视频免费在线观看 https://space.bilibili.com/523606542 Python学习交流群：1039649593 XPath(XML Path Language)是一门在 HTML\XML文档中查找信息的语言，可用来在HTML\XML文档中对元素和属性进行遍历。 html和xml的区别 xml的树结构 <bookstore> <book category="COOKING"> <.
python爬虫三大解析库之XPath解析库通俗易懂详讲
ITxiaoangzai的博客
11-29 545
这里写自定义目录标题使用XPath解析库1.简介2.常用规则3.etree模块解析网页简介4.选取所有节点，子节点和父节点(1)选取所有节点(2)选取子节点(3)选取父节点5.属性匹配，文本获取和属性多值匹配(1)属性匹配(2)文本获取(3)属性多值匹配6.属性获取和多属性匹配(1)属性获取(2)多属性匹配7.按次序选择8.节点轴选择9.开发者工具查看xpath选择器路径 使用XPath解析库 1...
python爬虫--xpath模块简介
Abtxr的博客
02-13 1545
python爬虫--lxml库xpath模块简介
Python爬虫解析XPATH讲义
06-06
Python爬虫解析XPATH讲义
Python爬虫之xlml解析库(全面了解)
01-20
XQuery和xpoint都是构建于xpath表达之上 2.节点 父（parent），子（children），兄弟（sibling），先辈（ancetstor），后代（Decendant） 3.选取节点 路径表达式 表达式 描述 路径表达式 结果 nodename 选取此...
Python爬虫Chrome网页解析工具-XPath Helper插件
05-26
Python爬虫Chrome网页解析工具-XPath Helper插件
Python爬虫和Python数据分析小项目.zip
最新发布
03-01
常用的解析工具有正则表达式、XPath、Beautiful Soup等。这些工具帮助爬虫定位和提取目标数据，如文本、图片、链接等。 数据存储： 爬虫将提取的数据存储到数据库、文件或其他存储介质中，以备后续分析或展示。常用...
Python爬虫基础之XPath语法与lxml库的用法详解
12-23
本来打算写的标题是XPath语法，但是想了一下Python中的解析库lxml，使用的是Xpath语法，同样也是效率比较高的解析方法，所以就写成了XPath语法和lxml库的用法 XPath 即为 XML 路径语言，它是一种用来确定 XML（标准...
Python 之元组（tuple）
热门推荐
一直努力
07-28 4万+
元组 一、元组的特点： 1、与列表相似，不同之处就在于元组的元素不能被修改。 2、列表使用的是中括号“[]”，元组使用的是小括号“()”。 3、列表属于可变类型，元组属于不可变类型。 4、Python内部对元组进行了大量的优化，访问喝处理速度都比列表快。 二、元组的创建、访问喝删除 1、创建 创建有两种形式，与列表的创建类似。 #创建 tuple1 = tuple((1,2,3)) #创建了一个包括3个元素的元组对象 print(tuple1) tuple2 = (1,2,3,4,5,6,
Python爬虫 之Ajax请求
一直努力
08-17 1万+
AJAX 是 Asynchronous JavaScript and XML（异步的 JavaScript 和 XML）的缩写。AJAX 通过使用原有的 web 标准组件，实现了在不重新加载整个页面的情况下，与服务器进行数据交互。例如在新浪微博中，你可以展开一条微博的评论，而不需要重新加载，或者打开一个新的页面。但是这些内容并不是一开始就在页面中的，而是在你点击的时候被加载进来的。这就导致了你抓取这个页面的时候，并不能获得这些评论信息。
Python爬虫 之UA伪装
一直努力
08-17 7313
网页采集器-UA伪装 1、UA的概念 UA指的是User-Agent，这是一个请求头信息，是请求载体的身份标识。 2、UA检测（反爬机制） 门户网址的服务器会检测对应请求载体身份标识。 如果检测到请求的载体身份标识为某一款浏览器，意味这当前的用户请求是一个通过浏览器发起的正常的请求。说明是一个正常的请求（用户通过浏览器发出的请求）。 但是，如果检测到的请求的载体身份标识不是基于某一款浏览器的，则表示该请求为一个不正常的请求（是一个爬虫请求）。则服务器端很有可能拒绝该次请求。 为了让我们的请求每次都成功，我们
python爬虫xpath
08-27
你好！要使用Python进行爬虫并解析网页内容，可以使用xpath进行数据提取。我可以帮你了解如何使用xpath进行爬虫。 首先，你需要安装相关的库。在Python中，你可以使用`lxml`库来解析HTML或XML文档，并使用`requests`库来发送HTTP请求并获取网页内容。你可以使用以下命令安装这些库： ``` pip install lxml pip install requests ``` 安装完成后，你可以在Python脚本中导入这些库： ```python import requests from lxml import etree ``` 接下来，你可以使用`requests`库发送HTTP请求来获取网页的内容。例如，你可以使用以下代码获取一个网页的内容： ```python url = "http://example.com" response = requests.get(url) html_content = response.text ``` 获取到网页内容后，你可以使用`lxml`库中的`etree.HTML`函数将其转换为可供解析的HTML对象。然后，你可以使用xpath表达式从HTML对象中提取数据。例如，假设你要提取网页中所有`<a>`标签的文本和链接，你可以使用以下代码： ```python html = etree.HTML(html_content) links = html.xpath("//a") for link in links: text = link.text href = link.get("href") print(text, href) ``` 在上述代码中，`//a`是xpath表达式，用于匹配所有`<a>`标签。然后，通过遍历匹配结果，你可以获取每个`<a>`标签的文本和链接。 这只是一个简单的示例，你可以根据具体的网页结构和需求来编写更复杂的xpath表达式来提取数据。 希望这些信息能对你有所帮助！如果你有任何其他问题，请随时提问。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值