爬取豆瓣新书信息,保存到本地

项目爬取豆瓣最新书籍信息,包括链接、书名、作者、出版社和出版日期,利用Python、正则表达式和数据挖掘技术。提取信息后以文本格式保存到本地,其中发现国外文学作品丰富,推荐《拥抱时间的人》,该书描绘了亲情与人生,传递了生活勇气。
摘要由CSDN通过智能技术生成

疫情宅家无所事事,刷剧/微博好无聊,拿起枕边两本小说,突然发现都看了三遍,苦于书荒,于是爬取豆瓣网新书,看有没有自己感兴趣的书籍。该项目主要功能是获取豆瓣网新书信息,包括链接,书名,作者,出版社,出版日期等信息,以文本形式保存到本地。
首先打开网页https://book.douban.com/latest?icn=index-latestbook-all,分析页面内容,发现所有新书都在li标签下,最近复习了re模块,所以决定使用正则来提取数书籍信息。首先发送请求,获取网页内容

def get_page_content(url):
    url =  'https://book.douban.com/latest?icn=index-latestbook-all'
    headers = {
        'User-Agent': 'Mozilla/5.0 (Windows NT 10.0) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/78.0.3904.97 Safari/537.36'
    }
    try:
        response = requests.get(url,headers=headers)
        return response.text
    except RequestException:
        return None

分析网页内容,使用正则提取书籍信息

def parse_content(content):
    pattern = re.compile
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值