爬虫练手小项目：豆瓣高分图书TOP100

最新推荐文章于 2024-05-08 15:12:03 发布

Yun_Mengze

最新推荐文章于 2024-05-08 15:12:03 发布

阅读量2.7k

点赞数 1

分类专栏： Python WebParser 文章标签： WebParser Python3 Cui Qingcai

本文链接：https://blog.csdn.net/qq_36311653/article/details/80934883

版权

这是一个Python爬虫项目，旨在抓取并分析豆瓣网站上的高分图书列表，展示如何利用WebParser库来实现数据提取。通过该项目，可以了解网络爬虫的基本流程和技术。

摘要由CSDN通过智能技术生成

爬虫练手小项目：豆瓣高分图书TOP100

import requests
import re
from requests.exceptions import RequestException
import json
import time

def get_one_page(url):
    headers ={
            'User-Agent':'Mozilla/5.0 (Macintosh;Intel Mac OS X 10_13_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/65.0.3325.162 Safari/537.36'}
    response = requests.get(url,headers=headers)
    if response.status_code == 200:
        return response.text
    return None


def parse_one_page(html,offset):
    pattern = re.compile('<div.*?post.*?img.*?src="(.*?)".*?</div>.*?title.*?_blank">(.*?)</a>.*?rating_n