xpath爬取简书 摄影专题里的最新收录 文章的详情及图片

最新推荐文章于 2024-06-05 20:50:49 发布
最新推荐文章于 2024-06-05 20:50:49 发布
阅读量354 收藏 3
点赞数 2
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41500222/article/details/82716528
版权

首先我们打开 简书的网站链接https://www.jianshu.com/

这里写图片描述

找到下方的摄影栏目并点击

这里写图片描述

进入界面 这个就是摄影栏目里面的最新收录的所有文章

这里写图片描述

然后我们去检测 我们要爬取当前页面的url地址 所以点击键盘的F12键 我们要爬取的是当前页面的 例:”花言巧语”标题和当点击它的跳转超链接

点击Network选项

这里写图片描述

我们在第三栏会 发现各种的按钮 我们可以点击ALL 或者 XHR配合着使用

这里写图片描述

然后我们点击XHR 并刷新当前页面 会发现Name一栏会出现很多链接 我们点击第一个链接 它是以.json结尾的

这里写图片描述
这里写图片描述

我们查看上方链接末尾参数会显示page=1

这里写图片描述

然后我们查看一下规律 我们滑动页面就会发现最后一栏会多了一个链接 我们点击多的这个链接就会发现 末尾的参数 page=2 那么也就是说我们当前处于在 当前页面的第二页内容

这里写图片描述
这里写图片描述

我们点击这个page=2的链接就会显示当前的所有关于这个里面的配置

这里写图片描述

滑动到第三页

这里写图片描述

点击这个链接 就是第三页的配置

这里写图片描述

我们把page=1和page=2和page=3这三个链接都复制并打开会发现三个链接的内容是不一样的 此时我们知道这个页面是javascript分为了多个页的

第一页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1

第二页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=2

第三页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=3

这就是第一,二,三页的内容

这里写图片描述
这里写图片描述
这里写图片描述

然后我们开始绘制我们的代码

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"

然后我们设置我们的header报头 这个代表模仿浏览器观看内容的协议 我们在浏览器中按f12键 点击Network刷新页面点击底部的第一个链接

这里写图片描述

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

然后我们发起请求 并获得响应 并打印测试是否成功 如果成功 会在终端中 显示200字符

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}
#我们发起请求 并获得响应
response = requests.get(url,headers=header)
#测试成功
print(response.status_code)

这里写图片描述

这时 说明我们链接是有效的 我们继续开始解析我们页面中 我们要获取当前页面 第一页中的 标题下点击跳转的超链接

首先我们回到网站 按F12键查看我们的页面里面的html元素因为我们用xpath匹配 所以通俗的讲我们首先要找当前元素的”大包含” 所以要找到我们 选中的内容的父节点 也就是包含这个标签的这个块去匹配里面的内容

注:为什么我们不每次都把路径写全去获取里面的内容 因为我们要节省代码内容 因为每次都要写个for循环 这样比较麻烦所以一个for循环 然后在解析里面的内容会方便很多

我们选中我们要获得的标题链接

这里写图片描述

发现我们这个a标签 是以这么一个形式为包含 ul包含着li li包含着a标签 我们要获得a标签 就要用etree先获取这个对象li这个对象 并通过匹配解析这个a标签

所以我们要整理一下我们的代码

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #打印dx这个变量 以代表测试确认
    print(dx)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

这里写图片描述

紧接着用xpath解析这个对象

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #测试打印这个解析路径
    print(jx)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

解析含义:用xpath解析这个对象 然后让我们分析下这个解析的路径首先写个括号和单引号(”)在括号单引号里面写入(‘//’)代表任意下的标签 我们找到ul 所以(‘//ul’)然后找到 ul里的class 名字并写入 写class首先要写一对列表(‘//ul[class=”note-list”]’)在等于号后面写一对双引号写class的类名通常 我们尽量不要手动输入 直接 在浏览器标签里面复制 有时忽略空格时会报错这里写图片描述

紧接着找到li 所以写li之前要写个/代表当前下面的li(‘//ul[class=”note-list”]/li’)

这里写图片描述

发现我们获取到的是一个etree的li对象 li里面包含着我们要获取的标题链接

我们首先将这解析的对象一个一个遍历出来 在进行解析

这里写图片描述

进行解析

我们首先找到网站简书 并检查 点小鼠标 看看标题这个标签在哪个位置这里写图片描述

这时我们会看到我们将要获取到的链接在 a标签的href里面 这时我们用xpath解析这个a标签 我们看下图并观察里面的含义

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')
        #打印链接
        print(lj)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

运行一下 我们发现这些链接用列表包括着 而且还不完全 没有协议和域名 只是个路径

这里写图片描述

所以我们要将 这个路径补全变成链接形式 可以获取的url

所以我们要导入一个模块 它是urllib里的一个编码解析补全方法

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree
#导入urllib里面的编码解析补全模块
import urllib.parse

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')
        #用编码补全方法 将response里的url和lj里的路径进行互补拼接
        pj = urllib.parse.urljoin(response.url,lj)
        #并打印
        print(pj)



if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

我们运行一下代码

这里写图片描述

运行一下发现报错了好像少了什么 我们在整理下代码 我们在补全链接时 由于它是列表是无序的 所以我们要给它标记第0位 在去拼接

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree
#导入urllib里面的编码解析补全模块
import urllib.parse

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')[0]
        #用编码补全方法 将response里的url和lj里的路径进行互补拼接
        pj = urllib.parse.urljoin(response.url,lj)
        #并打印
        print(pj)



if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

运行一下

这里写图片描述

这时我们获取的每个链接 按ctrl按键 点击链接都可以获取到里面的详情页

待续…

Meter_Bulacn
关注
专栏目录
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
Python爬虫 解析 xpath -- 爬取多页图片
天行健 君子以自强不息，地势坤 君子以厚德载物。
02-28 3127
爬取多页图片
python爬虫系列：xpath爬取图片讲解（零基础向）
m0_58288142的博客
06-23 9327
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 系列文章目录 前言 一、pandas是什么？ 二、使用步骤 1.引入库 2.读入数据 总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学...
爬虫案例1：利用Xpath，简单爬取图片
weixin_41769717的博客
10-07 1380
利用Python爬取一些好康的图片
基础爬虫之xpath爬取图片
ZHU1640182189的博客
05-18 1174
Element对象，然后进行xpath路径截取，存储在一个列表中，然后进行一个for循环遍历列表，得到图片对应的页面源码。表达的就是在这个页面下的class叫ibox2 all的div下的ul下的li元素，包含着所有的ul下的li。Step4:运用xpath方法对图片的url进行截取然后进行请求，并转换成二进制文件，然后进行持续化存储。Step3:使用etree中的HTML方法对字符串格式的源码进行转换，得到一个可以被xpath识别的。一、什么是xpath？(欢迎大神指导菜鸡)
xpath爬取图片
浮生未歇
11-30 2432
#-*- codeing = utf-8 -*- #@Time :2020/11/30 20:35 #@Author : 徐微 #@File : 04-xpath(wallhaven).py #@Software: PyCharm import requests from lxml import etree import os ''' 思路： 1.UA伪装 2.获取url 3.将获取网页的转成text格式 (requests.get) 4.将text转成对应的html
python利用xpath爬取贴吧图片
03-18
源码+使用说明
python爬取图片（正则、bs4、Xpath三种方法）
穆图图木每的博客
11-07 3570
本文给出爬取三个图片网站的案例，分别用到了正则表达式、bs4、Xpath三种解析方式。 目录 案例一：正则表达式解析 案例二： bs4解析 案例三： Xpath解析 案例一：正则表达式解析 需求：爬取挖好图网”唯美分类“中的图片 详细代码如下： # coding=gbk import requests import re import os #需求：爬取挖好图唯美图片 #网址：'https://www.wahaotu.com/weim...
用xpath批量爬取高清图片 图解教程 python 爬虫
小渣渣的博客
11-16 5241
目录 用到的库： 思路： 需要知道的xpath用法： 分析： 具体代码： 总结： 用到的库： from lxml import etree import os import datetime import requests 思路： 因为我要爬取某个分类下的所有图片，所以首先我要分析这个url的组成。 思路如下：获取每一页的url → 获取每一页的28个详情页面的...
python使用xpath批量爬取图片
weixin_51420405的博客
05-28 886
import requests from lxml import etree import os if __name__ == '__main__': # 创建文件夹存放照片 if not os.path.exists("./day07图片解析-素材"): os.mkdir("./day07图片解析-素材") # UA伪装 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WO.
Python 爬图——基于xpath实现图片爬取
qq_43733805的博客
06-04 2366
Python 爬图——基于xpath实现图片爬取 写在前面 图片外链失效的话可以移步个人博客 前段时间在网上冲浪的时候发现了一个有意思的网站：http://turnoff.us/，是一个极客漫画网站，他的创始人也是一个软件工程师，其漫画内容也别具一格，自嘲暗讽毒舌样样不少。这里贴出来几张： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O7fgDsNS-1591262530365)(https://i.loli.net/2020/06/04/KGVke6pAaT4vmRQ.p
【Python爬虫开发实战①】使用urllib以及XPath爬取可爱小猫图片
z135733的博客
06-28 857
本文爬虫程https://img-blog.csdnimg.cn/e72265ef9c1d4b2198fb117f5956ff3a.jpeg序用到了urllib库和XPath库，都是上两次文章讲过的，链接已经放在上面了，没有看过的先看一下前置知识哦~下面我们马上开始！
Python爬虫爬取4k高清图片——xpath解析
qq_44777595的博客
10-05 1184
在浏览器的网址栏输入该URL，确实能请求到第一页，由于每一页的URL的变化是不连贯的，但是从第2页开始是有规律的。所以我们可以单独获取第一页的图片，再通过循环获取第2页到第22页的图片。标签获取该页面中每一张图片的数据，由于通过xpath获取的数据会存储到一个列表中，所以我们需要通过下标索引取出对应的值。对比img标签中的src属性值可以发现，src中的图片地址是不完整的，所以在获取图片地址后需要将其拼接成完整的地址。图片的部分地址在img标签的src属性中，图片的名称是img标签alt属性的属性值。
关于Python爬虫Xpath的一切都在这里了
Python栈
07-10 1684
Xpath是python爬虫过程中，非常重要的一种用来定位的语法。
用Python的xpath模块学习抓取图片
littlespider889的博客
05-25 202
大家好，我是天空之城，今天带来一个小福利，教大家用python抓取妹子图。话不多说，上代码。 import requests,re,lxml from lxml import etree class Spider(object): def __init__(self): self.headers = { 'Referer': 'https://www.mzitu.com', 'User-Agent': 'Mozilla/5.0 (Wi
python爬虫之xpath解析之爬取图片
最新发布
qq_55829395的博客
06-05 1130
python爬虫之xpath解析之爬取图片
简单一点，利用xpath解析爬取站长素材的图片
m0_58618019的博客
01-15 1094
简单利用xpath解析爬取站长素材上的美女图片，干就完了！
xpath爬取当当网图片
06-11
以下是使用 Python 和 XPath 爬取当当网图片的示例代码： ```python import requests from lxml import etree # 构造请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值