Python用requests + bs4爬取豆瓣图书网的书名和网址

  爬取静态网页豆瓣读书Top250

 当我们遇到这种静态网页的时候首先想到可以用导入requests库对网页进行请求，并用bs4来进行解析，然后可以用find方法找到我们想要爬取的对象。

import requests
from bs4 import BeautifulSoup
import time

def douban_book(url):
    headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.35 Safari/537.36'}
    res = requests.get(url,headers = headers)
    soup = BeautifulSoup(res.text,'html.parser')
    items = soup.find_all('div',class_='pl2')#find返回的是一个tag对象
    for i in items:
        tag = i.find('a')
        name = ''.join((tag.text).split())
        link = tag['href']
        print(name,link)

url = 'https://book.douban.com/top250?start={}'
urls = [url.format(num * 25) for num in range(10)]
for item in urls:
    douban_book(item)
    time.sleep(1)

find()返回符合条件的首个数据
find_all

#join()
# 用于将序列中的元素以指定的字符连接生成一个新的字符串。join() 方法接收一个序列（列表、元组、字符串等）作为参数，. 前面的字符串用于连接符

# split()
# 用于通过指定分隔符对字符串进行分割。split() 方法有两个可选参数，第一个参数为分隔符，默认为所有的空字符，包括空格、换行（\n）、制表符（\t）等。
# 第二个参数为最大分割次数，默认为 -1，即不限次数。