xpath爬取简书 摄影专题里的最新收录 文章的详情及图片

最新推荐文章于 2024-06-05 20:50:49 发布
最新推荐文章于 2024-06-05 20:50:49 发布
阅读量356 收藏 3
点赞数 2
分类专栏： 爬虫
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41500222/article/details/82716528
版权

首先我们打开 简书的网站链接https://www.jianshu.com/

这里写图片描述

找到下方的摄影栏目并点击

这里写图片描述

进入界面 这个就是摄影栏目里面的最新收录的所有文章

这里写图片描述

然后我们去检测 我们要爬取当前页面的url地址 所以点击键盘的F12键 我们要爬取的是当前页面的 例:”花言巧语”标题和当点击它的跳转超链接

点击Network选项

这里写图片描述

我们在第三栏会 发现各种的按钮 我们可以点击ALL 或者 XHR配合着使用

这里写图片描述

然后我们点击XHR 并刷新当前页面 会发现Name一栏会出现很多链接 我们点击第一个链接 它是以.json结尾的

这里写图片描述
这里写图片描述

我们查看上方链接末尾参数会显示page=1

这里写图片描述

然后我们查看一下规律 我们滑动页面就会发现最后一栏会多了一个链接 我们点击多的这个链接就会发现 末尾的参数 page=2 那么也就是说我们当前处于在 当前页面的第二页内容

这里写图片描述
这里写图片描述

我们点击这个page=2的链接就会显示当前的所有关于这个里面的配置

这里写图片描述

滑动到第三页

这里写图片描述

点击这个链接 就是第三页的配置

这里写图片描述

我们把page=1和page=2和page=3这三个链接都复制并打开会发现三个链接的内容是不一样的 此时我们知道这个页面是javascript分为了多个页的

第一页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1

第二页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=2

第三页链接:https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=3

这就是第一,二,三页的内容

这里写图片描述
这里写图片描述
这里写图片描述

然后我们开始绘制我们的代码

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"

然后我们设置我们的header报头 这个代表模仿浏览器观看内容的协议 我们在浏览器中按f12键 点击Network刷新页面点击底部的第一个链接

这里写图片描述

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

然后我们发起请求 并获得响应 并打印测试是否成功 如果成功 会在终端中 显示200字符

#首先导入我们的requests模块
import requests
#绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}
#我们发起请求 并获得响应
response = requests.get(url,headers=header)
#测试成功
print(response.status_code)

这里写图片描述

这时 说明我们链接是有效的 我们继续开始解析我们页面中 我们要获取当前页面 第一页中的 标题下点击跳转的超链接

首先我们回到网站 按F12键查看我们的页面里面的html元素因为我们用xpath匹配 所以通俗的讲我们首先要找当前元素的”大包含” 所以要找到我们 选中的内容的父节点 也就是包含这个标签的这个块去匹配里面的内容

注:为什么我们不每次都把路径写全去获取里面的内容 因为我们要节省代码内容 因为每次都要写个for循环 这样比较麻烦所以一个for循环 然后在解析里面的内容会方便很多

我们选中我们要获得的标题链接

这里写图片描述

发现我们这个a标签 是以这么一个形式为包含 ul包含着li li包含着a标签 我们要获得a标签 就要用etree先获取这个对象li这个对象 并通过匹配解析这个a标签

所以我们要整理一下我们的代码

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #打印dx这个变量 以代表测试确认
    print(dx)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

这里写图片描述

紧接着用xpath解析这个对象

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #测试打印这个解析路径
    print(jx)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

解析含义:用xpath解析这个对象 然后让我们分析下这个解析的路径首先写个括号和单引号(”)在括号单引号里面写入(‘//’)代表任意下的标签 我们找到ul 所以(‘//ul’)然后找到 ul里的class 名字并写入 写class首先要写一对列表(‘//ul[class=”note-list”]’)在等于号后面写一对双引号写class的类名通常 我们尽量不要手动输入 直接 在浏览器标签里面复制 有时忽略空格时会报错这里写图片描述

紧接着找到li 所以写li之前要写个/代表当前下面的li(‘//ul[class=”note-list”]/li’)

这里写图片描述

发现我们获取到的是一个etree的li对象 li里面包含着我们要获取的标题链接

我们首先将这解析的对象一个一个遍历出来 在进行解析

这里写图片描述

进行解析

我们首先找到网站简书 并检查 点小鼠标 看看标题这个标签在哪个位置这里写图片描述

这时我们会看到我们将要获取到的链接在 a标签的href里面 这时我们用xpath解析这个a标签 我们看下图并观察里面的含义

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')
        #打印链接
        print(lj)


if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

运行一下 我们发现这些链接用列表包括着 而且还不完全 没有协议和域名 只是个路径

这里写图片描述

所以我们要将 这个路径补全变成链接形式 可以获取的url

所以我们要导入一个模块 它是urllib里的一个编码解析补全方法

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree
#导入urllib里面的编码解析补全模块
import urllib.parse

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')
        #用编码补全方法 将response里的url和lj里的路径进行互补拼接
        pj = urllib.parse.urljoin(response.url,lj)
        #并打印
        print(pj)



if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

我们运行一下代码

这里写图片描述

运行一下发现报错了好像少了什么 我们在整理下代码 我们在补全链接时 由于它是列表是无序的 所以我们要给它标记第0位 在去拼接

#首先导入我们的requests模块
import requests
#在导入lxml里面的etree 它代表把html文本生成对象
from lxml import etree
#导入urllib里面的编码解析补全模块
import urllib.parse

#这个就是header的报头 它必须是字典的形式
header = {
    "User-Agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.106 Safari/537.36"
}

#定义一个函数
def qingqiu(url):   
    #我们发起请求 并获得响应
    response = requests.get(url,headers=header)
    #将这个html文本生成etree对象
    dx = etree.HTML(response.text)
    #用xpath解析这个对象 
    jx = dx.xpath('//ul[@class="note-list"]'/li)
    #把jx对象 一个一个遍历
    for i in jx:
    #然后我们用xpath解析 .代表上级的li目录 //任意下的a标签 [@class="title"]取class里的title名 /标签下的 @代表取链接属性 href的链接 
        lj = i.xpath('.//a[@class="title"]/@href')[0]
        #用编码补全方法 将response里的url和lj里的路径进行互补拼接
        pj = urllib.parse.urljoin(response.url,lj)
        #并打印
        print(pj)



if __name__ == '__main__':
    #绘制我们的目标url我们写入的是page=1所以 就先爬取第一页的所有文章详情 后续我们逐步更改代码并爬取简书所有的页
    url = "https://www.jianshu.com/c/7b2be866f564?order_by=added_at&page=1"
    #调用这个函数
    qingqiu(url)

运行一下

这里写图片描述

这时我们获取的每个链接 按ctrl按键 点击链接都可以获取到里面的详情页

待续…

Meter_Bulacn
关注
专栏目录
xpath 爬取图片
xiyucai_cai的博客
06-28 1356
爬去图片 import requests import re from lxml import etree from urllib3 import request# 页数def page(url,totalpage): changepage=[] for i in range(1,totalpage+1): page_number=re.sub
利用Python爬取简书最新收录文章
qq_43659281的博客
12-21 995
本文将利用Python爬虫的几个基本库实现爬取简书最新收录的文章，并存储到txt文件中。 1.爬虫思路分析 1).简书网“最新收录”的网页界面(https://www.jianshu.com/c/bDHhpK)如下： 2).当手动预览该页面时，发现网页的地址并没有改变，因此判断该网友用了异步加载，进而打开Chorm浏览器开发者工具(F12),先刷新界面(F5),然后选择Network选项，并使用...
第二战：Xpath爬取静态网页文章内容
weixin_30648587的博客
08-30 205
本文以爬取第一战文章中获得的各个url为地址，爬取其中文章内容。 先小叙述下xpath的表达式意思 表达式描述 nodename 选取此节点的所有子节点。 / 从根节点选取。 // 从匹配选择的当前节点选择文档中的节点，而不考虑它们的位置。 . 选取当前节点。 .. 选取当前节点的父节点。 @ 选取属性。 ...
xpath爬取图片
浮生未歇
11-30 2435
#-*- codeing = utf-8 -*- #@Time :2020/11/30 20:35 #@Author : 徐微 #@File : 04-xpath(wallhaven).py #@Software: PyCharm import requests from lxml import etree import os ''' 思路： 1.UA伪装 2.获取url 3.将获取网页的转成text格式 (requests.get) 4.将text转成对应的html
Xpath爬图片
红尘炼炼心的博客
12-13 449
XPath 是一种查询语言，它是通过路径来寻找相应的信息。通过Xpath更加简洁的爬取内容。
基础爬虫之xpath爬取图片
ZHU1640182189的博客
05-18 1179
Element对象，然后进行xpath路径截取，存储在一个列表中，然后进行一个for循环遍历列表，得到图片对应的页面源码。表达的就是在这个页面下的class叫ibox2 all的div下的ul下的li元素，包含着所有的ul下的li。Step4:运用xpath方法对图片的url进行截取然后进行请求，并转换成二进制文件，然后进行持续化存储。Step3:使用etree中的HTML方法对字符串格式的源码进行转换，得到一个可以被xpath识别的。一、什么是xpath？(欢迎大神指导菜鸡)
python爬虫——爬取简书文章
热门推荐
Cooooooooco的博客
12-24 2万+
       这段时间在做的事情需要从网上获得一点资讯类似文章啊、电影啊、新闻啊等等，看了很久感觉用简书这个网址来做爬虫相对来说简单一点，可以不需要设置登录啥的就能够获取到内容，相比较起来已经很容易了。（一）分析页面结构        我选择了一个简书的专题，就是固定的一个url，专题里面文章也比较多，如果需要多个专题，把专题链接复制下来写在一个数组里面让爬虫循环爬就可以。本次就举一个固定的url...
爬虫——xpath爬取图片
liaojsgtcg的博客
10-12 4108
目录简介XPath定位方法爬取图片 简介 XPath 是一门在 XML 文档中查找信息的语言。XPath 用于在 XML 文档中通过元素和属性进行导航。在使用XPath前我们需要大致了解HTML / XHTML；XML / XML 命名空间，的相关知识。 什么是 XPath? XPath 使用路径表达式在 XML 文档中进行导航 XPath 包含一个标准函数库 XPath 是 XSLT 中的主要元素 XPath 是一个 W3C 标准 XPath 路径表达式: XPath 使用路径表达式来选取 XML
Python使用xpath实现图片爬取
09-17
在这个场景中，我们将讨论如何使用Python的`lxml`库结合XPath来实现图片的爬取。`lxml`库提供了高效的XML和HTML处理能力，支持XPath 1.0规范。 首先，让我们了解基本的XPath语法。XPath通过路径表达式来选取XML或...
jianshu-crawl:Scrapy + selenium爬取简书全站
04-01
Scrapy + selenium爬取简书全站 环境 Ubuntu 18.04 Python 3.8 Scrapy 2.1 爬取内容 文字标题 作者 作者头像 发布日期 内容 文章连接 文章ID 思路 分析简书文章的url规则 使用selenium请求页面 使用xpath获取需要...
python爬虫之xpath解析之爬取图片
最新发布
qq_55829395的博客
06-05 1140
python爬虫之xpath解析之爬取图片
爬虫案例1：利用Xpath，简单爬取图片
weixin_41769717的博客
10-07 1382
利用Python爬取一些好康的图片
Python 爬图——基于xpath实现图片爬取
qq_43733805的博客
06-04 2370
Python 爬图——基于xpath实现图片爬取 写在前面 图片外链失效的话可以移步个人博客 前段时间在网上冲浪的时候发现了一个有意思的网站：http://turnoff.us/，是一个极客漫画网站，他的创始人也是一个软件工程师，其漫画内容也别具一格，自嘲暗讽毒舌样样不少。这里贴出来几张： [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-O7fgDsNS-1591262530365)(https://i.loli.net/2020/06/04/KGVke6pAaT4vmRQ.p
简单一点，利用xpath解析爬取站长素材的图片
m0_58618019的博客
01-15 1097
简单利用xpath解析爬取站长素材上的美女图片，干就完了！
Python爬虫 解析 xpath -- 爬取多页图片
天行健 君子以自强不息，地势坤 君子以厚德载物。
02-28 3127
爬取多页图片
XPath：爬取百度贴吧图片，并保存本地
琦彦
11-06 6977
使用XPath，我们可以先将 HTML文件 转换成 XML文档，然后用 XPath 查找 HTML 节点或元素。 什么是XML XML 指可扩展标记语言（EXtensible Markup Language） XML 是一种标记语言，很类似 HTML XML 的设计宗旨是传输数据，而非显示数据 XML 的标签需要我们自行定义。 XML 被设计为具有自我描述性。 XML 是 W3C 的...
python批量爬取图片(XPath)
Moyan的博客
04-29 1154
工具：python3.8，使用urllib库和lxml库进行爬取（安装方法可以进行百度） 目标网站：http://pic.netbian.com/(为了方便理解，只获取第一页) 代码 import urllib.request as ur from lxml import etree#使用xpath获取页面上所有的图片的url def save(url): #更改User-Agent来模拟浏...
XPATH爬取的一点记录
晴空
06-30 181
贴一小段代码，记录xpath爬取比较有用的前后兄弟节点 # -*- coding: utf-8 -*- from lxml import etree import requests #网页代码见下面截图 url = 'aaaa' res = requests.get(url) ress = etree.HTML(res.content) #这里一开始用的res.text，报错：Unicode...
Python爬虫爬取4k高清图片——xpath解析
qq_44777595的博客
10-05 1187
在浏览器的网址栏输入该URL，确实能请求到第一页，由于每一页的URL的变化是不连贯的，但是从第2页开始是有规律的。所以我们可以单独获取第一页的图片，再通过循环获取第2页到第22页的图片。标签获取该页面中每一张图片的数据，由于通过xpath获取的数据会存储到一个列表中，所以我们需要通过下标索引取出对应的值。对比img标签中的src属性值可以发现，src中的图片地址是不完整的，所以在获取图片地址后需要将其拼接成完整的地址。图片的部分地址在img标签的src属性中，图片的名称是img标签alt属性的属性值。
xpath爬取当当网图片
06-11
以下是使用 Python 和 XPath 爬取当当网图片的示例代码： ```python import requests from lxml import etree # 构造请求头 headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} # 发送请求 url = 'http://book.dangdang.com/' response = requests.get(url, headers=headers) # 解析HTML页面 html = etree.HTML(response.text) # 提取图片链接并下载 img_urls = html.xpath('//img/@src') for img_url in img_urls: response = requests.get(img_url, headers=headers) with open(img_url.split('/')[-1], 'wb') as f: f.write(response.content) ``` 在这个示例中，首先构造了一个请求头，然后使用 requests 库发送请求。接着使用 lxml 库的 etree 模块解析 HTML 页面，并使用 XPath 提取页面中的所有图片链接。最后，遍历图片链接并使用 requests 库下载图片。注意，这个示例只是提取了页面中的所有图片链接，如果你想要爬取某个特定的图片，需要根据图片的 XPath 进行定位。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值