冰冻三尺，非一日之寒。数据解析——xpath（3）

最新推荐文章于 2024-04-21 15:05:18 发布
最新推荐文章于 2024-04-21 15:05:18 发布
阅读量182 收藏
点赞数 1
分类专栏： python爬虫 文章标签： xpath python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ShiJieDeYinYu/article/details/116192822
版权

爬取4k图片


什么？我怎么又讲爬取图片？拜托，这可是 4k 图片，清晰度杠杠的。再说，爬取糗图算什么本事，做人要爬取的肯定是妹子图片，而且是 4k 的妹子图片，是不是很激动？放心，这次不晃你。

源码分析

首先让我们打开网页，好好欣赏一下美丽的妹子……哦不，我是说，好好的欣赏一下优美的网页源码。网址如下：https://pic.netbian.com/4kmeinv/

在这里插入图片描述

看，是不是优美的妹子？……额咳咳，我是说优美的源码。

很好，我们注意一下定位到的源码数据，也就是我圈的地方，这里有图片的网址和图片的标题。我们就把原标题作为我们下载后的标题。注意，这里的网址没有域名，是需要我们自己加的，也就是 “https://pic.netbian.com”。

欧克，是不是迫不及待了，让我们和小姐姐更进一步吧，咳咳，我是说，不说了，你懂的！

文字编译

import requests
from lxml import etree

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    # 指定网址
    url = "https://pic.netbian.com/4kmeinv/"

    # 获取源码
    response = requests.get(url = url, headers = header).text

    # xpath 解析
    tree = etree.HTML(response)
    new_url_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@src')
    title_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@alt')
    
    # 测试
    print(new_url_ist)
    print()
    print(title_list)
    print(len(title_list) == len(new_url_list))

结果测试的时候发现不对了，我们的标题全都变成乱码了
在这里插入图片描述
再一看，哦，我们太激动忘记编译了，赶紧编译一下。

import requests
from lxml import etree

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    # 指定网址
    url = "https://pic.netbian.com/4kmeinv/"

    # 获取源码
    response = requests.get(url = url, headers = header)
    response.encode = "utf-8"
    response = response.text

    # xpath 解析
    tree = etree.HTML(response)
    new_url_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@src')
    title_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@alt')
    
    # 测试
    print(new_url_list)
    print()
    print(title_list)
    print(len(title_list) == len(new_url_list))

这回总该可以了吧，再一看，怎么回事，还是乱码。
在这里插入图片描述
这是为什么？难道说所谓的 4k 美女图片只可远观不可亵玩吗？我不相信，赶紧去研究研究。正所谓，“X 是第一生产力”，我很快就研究出结果了，一般情况下，如果源码里有中文，我们可以有两种办法。一种是我们用的方法，另一种方法如下：

response = response.encode("iso-8859-1").decode("gbk")

我们再试一次

import requests
from lxml import etree

if __name__ == "__main__":
    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    # 指定网址
    url = "https://pic.netbian.com/4kmeinv/"

    # 获取源码
    response = requests.get(url = url, headers = header).text
    response = response.encode("iso-8859-1").decode("gbk")
 

    # xpath 解析
    tree = etree.HTML(response)
    new_url_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@src')
    title_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@alt')
    
    # 测试
    print(new_url_list)
    print()
    print(title_list)
    print(len(title_list) == len(new_url_list))

测试一下
在这里插入图片描述
欧克，是中文了，接着可以爬取4k妹子图片了。

爬取妹子图

import requests
from lxml import etree
import os

if __name__ == "__main__":
    # 创建文件夹
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片"):
        os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片")

    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    for index in range(1, 4): # 翻三页
        # 指定网址
        if index == 1:
            url = "https://pic.netbian.com/4kmeinv/"
        else:
            url = "https://pic.netbian.com/4kmeinv/index_%s.html" % index

        # 获取源码
        response = requests.get(url = url, headers = header).text
        response = response.encode("iso-8859-1").decode("gbk")
 

        # xpath 解析
        tree = etree.HTML(response)
        new_url_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@src')
        title_list = tree.xpath('//div[@class="slist"]/ul/li/a/img/@alt')
    
        # 测试
        # print(new_url_list)
        # print()
        # print(title_list)
        # print(len(title_list) == len(new_url_list))

        num = len(title_list)
        for i in range(num):
            new_url = "https://pic.netbian.com" + new_url_list[i]
            title = title_list[i]
            photo = requests.get(url = new_url, headers = header).content
            # 保存
            with open("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片\\" + title + ".jpg", "wb") as fp:
                fp.write(photo)
                print(title, "下载完成！！！")
    print("over!!!")

完成后，我们激动地打开图片，滚烫的热血突然就冷下来了，不是说是4k高清图吗，怎么不仅是缩略图，而且画质还不行。

在这里插入图片描述
别着急，这可不是我骗你，是网址留了一手。

爬取真正的4k妹子图

现在我们知道了网址源码里的网址是缩略图，那么我们怎么办呢？很简单，我们点击一下会怎样？

在这里插入图片描述

然后我们来到了下载页面。

在这里插入图片描述

现在我们没有任何办法，那就试着看看现在的网页源码好了。

结果我们发现了两个图片的地址，点开，发现一个是缩略图，一个是4k妹子图。如图。

在这里插入图片描述
是不是又感觉热血沸腾了？嘿嘿

闲话少说，赶紧改进代码

import requests
from lxml import etree
import os

if __name__ == "__main__":
    # 创建文件夹
    if not os.path.exists("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片(4k)"):
        os.mkdir("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片(4k)")

    # UA伪装
    header = {
        "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36"
        }

    for index in range(1, 4): # 翻三页
        # 指定网址
        if index == 1:
            url = "https://pic.netbian.com/4kmeinv/"
        else:
            url = "https://pic.netbian.com/4kmeinv/index_%s.html" % index

        # 获取源码
        response = requests.get(url = url, headers = header).text
        response = response.encode("iso-8859-1").decode("gbk")
 

        # xpath 解析
        tree = etree.HTML(response)
        # li 标签所在的列表，下载页面的网址在 li 标签内
        li_list = tree.xpath('//div[@class="slist"]/ul/li')

        for li in li_list:
            # 获取下载页面的网址
            new_url = "https://pic.netbian.com" + li.xpath('a/@href')[0]
            # 获取下载页面的网页源码
            new_response = requests.get(url = new_url, headers = header).text
            new_response = new_response.encode("iso-8859-1").decode("gbk") # 编译文字
            # xpath 解析
            new_tree = etree.HTML(new_response)
            # 下载的地址
            src = "https://pic.netbian.com" + new_tree.xpath('//*[@id="img"]/img/@src')[0]
            # 图片标题
            title = new_tree.xpath('//*[@id="img"]/img/@title')[0]
            # 获取图片
            photo = requests.get(url = src, headers = header).content
            # 保存
            with open("C:\\Users\\ASUS\\Desktop\\CSDN\\数据解析\\xpath\\爬取 4k 图片\\4k图片(4k)\\" + title + ".jpg", "wb") as fp:
                fp.write(photo)
            print(title, "下载成功！！！")
    print("over!!!")

运行结束了，赶紧打开照片看一看，很好，这次真的是4k妹子图片了。

在这里插入图片描述

注意

值得注意的一点是，本来在网站下载是要充钱的，我不清楚我们这样爬是不是有问题（不知道有没有大佬能帮我解惑）。虽然我在网站的 robots 协议中没看到这不能爬。

不管怎么说，这些代码只是供学术交流，大家都收敛一些。

世界的隐喻
关注
专栏目录
Xpath3
weixin_33807284的博客
06-10 114
xpath在HTML解析中的应用（加强版） . 分类： 动态语言（Python...）2009-09-03 17:524314人阅读评论(1)收藏举报 html文档divxhtmlimportbinding 经过一番研究以后才发现原来libxml2其实已经内置了对HTML的解析——即使是不很规范的HTML。所以上篇《xpath在XHTML解析中的应用 》完全是我学艺...
python 爬虫Xpath（三）
weixin_42927719的博客
08-08 197
Xpath XPath 是一门在 XML 文档中查找信息的语言。XPath 可用来在 XML 文档中对元素和属性进行遍历。 XPath 使用路径表达式来选取 XML文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。 XPath 含有超过 100 个内建的函数。这些函数用于字符串值、数值、日期和时间比较、节点和 QName 处理、序列处理、逻辑值等等。 ...
6.04-news_xpath3
weixin_30840573的博客
03-30 77
from lxml import etree html = """ <html> <body> <ul> <li>1 <a href="">子</a> </li> <li>2 <a ...
数据解析——xpath解析
xiaofan
08-18 1197
前言：xpath解析在爬虫中是较为常用的一个数据解析方式，以及在scrapy框架学习中也会再次用到，所以多少还是要会的 文章目录1.xpath解析原理1.1. 实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中1.2 2. 调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获2. 环境安装3. 进行实例化4. xpath 表达式4.1 '/' 用法4.2 属性定位4.3 索引定位4.4 定位后的取操作4.4.1 取文本4.4.2 取属性 1.xpath解析
数据解析——xpath
weixin_44302046的博客
09-06 2301
1）安装xpath插件2）在chrome中安装xpath插件3）将xpath拖入即可4）验证xpath1》点击 ctrl + shift + x 出现小黑框，即代表安装成功2》再次点击 ctrl + shift + x 即可关闭小黑框。
python数据解析——xpath爬取文字和图片
17902的博客
02-06 2778
xpath解析：最常用且最便捷高效的一种解析方式，通用性。 xpath解析原理： 1.实例化一个etree的对象，且需要将被解析的页面源码数据加载到该对象中。 2.调用etree对象中的xpath方法结合着xpath表达式实现标签的定位和内容的捕获。 环境的安装： pip install lxml 如何实例化一个etree对象：from lxml import etree 1.将本地的html文档中的源码数据加载到etree对象中： etree.parse(filePath) 2.可以将从互
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析
热门推荐
qq_44777595的博客
09-26 5万+
本次程序只爬取了豆瓣top250电影的展示页面的数据，没有爬取电影详情页的数据。在前面我们已经获取了每一部电影详情页的链接links，如果想要爬取电影的详情页，可以通过for循环遍历列表links，对每一个详情页发起请求，从而获取电影详情页的数据并进行解析。
爬虫入门10——Xpath数据解析方法
xjl243636988的博客
07-09 834
【代码】爬虫入门09——Xpath数据解析方法。
3.爬虫数据提取——Xpath语法
python伊甸园的博客
10-21 4834
爬虫数据提取——Xpath语法 一、写在前面 HTML页面是由标签构成的，这些标签就像整个族谱一样排列有序，比如： xxx ->> 太爷爷 ->> 爷爷 ->> 爸爸 ->> 儿子 ->> 孙子 ->> xxx xxx ->> body ->>script &div@id='wr...
Chrome——Xpath_helper
08-16
xPath helper是一款Chrome浏览器的开发者插件，安装了xPath helper后就能轻松获取HTML元素的xPath，程序员就再也不需要通过搜索html源代码，定位一些id去找到对应的位置去解析网页了。
《python3网络爬虫开发实战》学习笔记：：selenium——xpath：Unable to locate element
01-08
selenium+firefox在定位时遇到selenium.common.exceptions.NoSuchElementException: Message: Unable to locate element: ...这种定位错误一般很少出现，因为其中的xpath路径一般是通过copy xpath而不是自
Python网页爬虫爬取豆瓣Top250电影数据——Xpath数据解析_爬虫电影(1)
最新发布
2401_84009626的博客
04-21 1105
前面说过，每个li标签下都是一部电影的信息，一个页面有25部电影，那么就应该有25个li标签，我们可以通过li标签的下标定位获取到不同的li标签。以上就是我们获取一部电影数据的过程，接下来要获取一个页面的全部电影信息，然后通过循环翻页，获取不同页面的电影信息。需要嵌套循环，第一层循环通过改变data参数中的start的值来实现翻页，第二层循环则是遍历每个页面中的li标签，获取该页面每一部电影的数据。接下来获取电影详情页的链接，链接就在a标签中，是a标签的属性href的属性值，我们复制a标签的xpath。
工欲善其事，必先利其器——识别验证码（1）
ShiJieDeYinYu的博客
05-02 538
验证码识别 我们使用爬虫时很有可能需要登录，而现在的平台登陆时都需要验证码才能完成登录，所以我们使用爬虫模拟登录时验证码是必须要跨过的坎。一般情况下，我们使用第三方平台实现验证码的识别。 所以我在这里介绍一个识别验证码的平台——图鉴（比较常见的有超级鹰，反正其实这些平台注册、使用流程都差不多）。 首先我们打开图鉴的网址 “ http://www.ttshitu.com/ ”，点击注册 登录成功后，我们首先看一下“价格”，其实也可以在注册帐号前看一看价格，再决定是否注册。在登陆后，因为识别验证码需要登录，
工欲善其事，必先利其器——识别验证码（3）
ShiJieDeYinYu的博客
05-04 411
爬取人人网用户个人页面 如图的页面是我们这次需要爬取的页面，即人人网的个人页面 一开始我们的想法是利用爬虫模拟登录，然后再获取我们需要爬取的网页页面。 想到这里，我们就先来写代码吧。 import requests from lxml import etree import base64 import json def base64_api(uname, pwd, img, typeid): with open(img, 'rb') as f: base64_data = bas
冰冻三尺，非一日之寒。数据解析——xpath（2）
ShiJieDeYinYu的博客
04-26 307
爬取二手房信息 说到二手房信息，不知道你们心里最先跳出来的公司（网站）是什么，反正我心里第一个跳出来的是网站是 58 同城。哎呦，我这暴脾气，想到就赶紧去干。 但很显然，我失败了。说显然，而不是不幸，这是因为 58 同城是大公司，我这点本事爬不了数据是再正常不过的了。下面来看看 58 同城的反爬手段了。这是我爬取下来的网页源码。 我们看到爬取下来的源码有很多英文大写字母和数字是网页源码中没有的，后来我了解到 58 同城对自己的网站的源码进行了文本加密，所以就出现了我爬取到的情况。 然后我再打开 58 同城
行百里者半九十 —— scrapy 框架（7）
ShiJieDeYinYu的博客
08-06 280
这里写目录标题一级目录二级目录三级目录 一级目录 二级目录 三级目录
简易界面爬虫小项目
ShiJieDeYinYu的博客
10-12 256
【代码】简易界面爬虫小项目。
冰冻三尺，非一日之寒。数据解析——bs4
ShiJieDeYinYu的博客
04-24 253
简单地使用bs4实现数据解析 因为正则表达式本身有难度，所以在这里为大家介绍一下 bs4 实现数据解析。除此之外还有 xpath 解析。因为 xpath 不仅可以在 python 中使用，所以 bs4 和 正则解析一样，仅仅是简单地写两个案例（爬取可翻页的图片，以及爬取三国演义）。以后的重点会在 xpath 上。 闲话少说，我们先来安装 bs4 相关的外来库。比较简单，首先打开 cmd 命令面板，依次安装bs4 和 lxml。 命令分别是 pip install bs4 和 pip install lxml
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值