Requests-翻页请求实现

翻页请求实现

继https://blog.csdn.net/ssslq/article/details/130747686之后，本篇详述在获取了页面第一页之后，如何获取剩余页的标题内容。
网页：https://books.toscrape.com

找规律

同样还是进行页面的检查，切到网络一栏，找到头部对应的URL。
然后切到第二页，再去观察URL是否变化：

现在发现后面多了路径/catalogue/page-2.html，第二页对应了2.html，那么第一页是否是对应了1.html，试验一下：

发现使用了1.html之后返回到了首页，也就是第一页，现在大概明白了，每一页都可以使用X.html进行访问。这个页面总共有50页可以进行选择，既然第一页的书名已经进行了输出，那如果要访问50页，那就需要使用循环进行输出。

仅第一页代码

from bs4 import BeautifulSoup

import requests

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
}#请求头改成自己的
url = "https://books.toscrape.com/catalogue/page-1.html"

responce = requests.get(url,headers=headers).text

soup = BeautifulSoup(responce,"html.parser")

all_title = soup.findAll("h3")

for i in all_title:

    title = i.find("a")
    
    print(title.string)

加循环后的代码

from bs4 import BeautifulSoup

import requests

headers = {
    "User-Agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.0.0 Safari/537.36"
}#请求头改成自己的

for j in range(1,51):

    url = f"https://books.toscrape.com/catalogue/page-{j}.html"

    responce = requests.get(url,headers=headers).text
    
    soup = BeautifulSoup(responce,"html.parser")
    
    all_title = soup.findAll("h3")
    
    for i in all_title:
    
        title = i.find("a")
        
        print(title.string)

代码注释：

1. from bs4 import BeautifulSoup: 导入BeautifulSoup库，这是为了使用其中的解析和提取功能。

2. import requests: 导入requests库，这是为了发送HTTP请求获取网页内容。

3. headers = {...}: 定义了一个字典类型的变量headers，其中包含了请求头信息。这个请求头信息中设置了User-Agent字段，模拟浏览器发送请求。

4. for j in range(1,51):: 这是一个循环语句，从1到50循环遍历，用于处理多个页面。

5. url = f"https://books.toscrape.com/catalogue/page-{j}.html": 根据循环变量j的值构建每个页面的URL地址。f-string用于在字符串中插入变量的值。

6. response = requests.get(url, headers=headers).text: 发送HTTP GET请求到指定的URL，并获取响应对象。.text将响应内容以文本形式返回。将获取到的响应文本赋值给response变量。

7. soup = BeautifulSoup(response, "html.parser"): 使用BeautifulSoup库将获取到的响应文本进行解析，创建一个BeautifulSoup对象。传入参数response作为要解析的文档内容，以及解析器类型"html.parser"。

8. all_title = soup.findAll("h3"): 使用BeautifulSoup对象的findAll方法，查找所有<h3>标签，并将结果存储在变量all_title中。findAll返回一个列表，其中包含了所有匹配的标签。

9. for i in all_title:: 对于all_title列表中的每个元素进行迭代。

10. title = i.find("a"): 在当前迭代的<h3>标签中，使用find方法查找第一个<a>标签，并将结果存储在变量title中。

11. print(title.string): 打印title标签的文本内容，即书籍的标题。使用.string获取标签内的文本。

这段代码的作用是从多个页面中爬取书籍标题信息，并将其打印出来。通过循环遍历不同的页面，每个页面的URL地址中的页码部分会随着循环变量j的值而改变。代码使用requests库发送HTTP请求获取网页内容，然后使用BeautifulSoup库解析网页并提取所需信息。最后通过循环打印出每个页面中的书籍标题。

具体爬还要多实践，才能越来越熟练。