python爬虫实现豆瓣数据的爬取

最新推荐文章于 2024-08-14 11:44:10 发布

走出去拍拍照

最新推荐文章于 2024-08-14 11:44:10 发布

阅读量2k

点赞数

分类专栏：爬虫文章标签：爬取豆瓣页面信息

本文链接：https://blog.csdn.net/iva_brother/article/details/90581442

版权

本文介绍了如何在Python3.7环境下使用urllib和re模块爬取豆瓣阅读页面的出版社信息，并将数据存储到本地txt文件。此外，还提到了利用requests库和BeautifulSoup解析器抓取豆瓣文学部分的更多数据，包括书名、作者、出版社等，并通过time模块防止爬虫过快，最后使用pandas将数据保存到csv文件。

摘要由CSDN通过智能技术生成

本文利用urllib在python3.7的环境下实现豆瓣页面的爬取！

用到的包有urllib与re两个模块，具体实现如下！

import urllib.request
import re
import ssl

url = "https://read.douban.com/provider/all"

def doubanread(url):
    ssl._create_default_https_context = ssl._create_unverified_context
    data = urllib.request.urlopen(url).read()
    data = data.decode("utf-8")
    pat = '<div class="name">(.*?)</div>'
    mydata = re.compile(pat).findall(data)
    return mydata

def writetxt(mydata):
    fw = open("test.txt","w")
    for i in range(0,len(mydata)):
        fw.write(mydata[i] + "\n")
    fw.close()

if __name__ == '__main__':
    datatest = doubanread(url)
    writetxt(datatest)

本文主要实现爬取豆瓣阅读页面的出版社信息的爬取，将所有出版社写入到一个txt文件并保存到本地！

下面是另一个版本的抓取，用于抓取豆瓣文学部分的数据，包括数名、作者、出版社、出版时间、售价、