简单豆瓣图书爬虫

最新推荐文章于 2022-09-29 12:34:02 发布

alianglangmuli

最新推荐文章于 2022-09-29 12:34:02 发布

阅读量215

点赞数

文章标签： python爬虫

本文链接：https://blog.csdn.net/alianglangmuli/article/details/85238592

版权

本文介绍了如何构建一个豆瓣图书爬虫，通过分析网页结构，使用Python的requests和beautifulsoup库抓取数据，并结合正则表达式进行精确匹配。爬虫按照标签爬取，每个标签最多抓取1000本书，并将数据存储到MySQL数据库中。文章包含完整的代码示例和最终效果展示。

摘要由CSDN通过智能技术生成

简介

做好了上一个入门的爬虫之后,这次我打算做一个数量级更大一些的爬虫,简单的思考过后,我觉得爬取豆瓣的书籍,并且用上数据库.

网页的分析

豆瓣没有全部书籍展示,所以我决定按标签(tag)来爬取,就是豆瓣有多少个标签,我就爬多少个,这样书籍大概就能爬完(假的)

爬取哪个网页 :我在一番浏览豆瓣后,将爬取网页锁定在了https://book.douban.com/tag/小说?start=0&type=T 这个网页上,每次改变tag后面的文字,就能换个标签爬取,start后面的数字是每页增加20个,这个也很好变换.
按标签显示的网页最多显示1000本书,所以我就设置了在start=980的时候,就终止的信号,也就是说每个标签最多爬取1000本书
url代码

flag=True
    page=0
    tag='青春'
    while(flag):
        url="https://book.douban.com/tag/"+tag+"?start="+str(page)+"&type=T"
        page=page+20
        if(page>980):
            break

网页的爬取

和之前做的爬虫一样,这次我还是用request来换取html,用beautifulsoup来分析html,获取准确数据,但是我不是特别会用beautifulsoup,所以用beautifulsoup找到大致的数据后,我使用了re库,使用正则表达式来找到精确数据.

但就因为这样,数据有可能和预期的不符合,导致程序不能运行,所以我就设置了默认值,数据匹配的时候就放入,不匹配就用默认值
eg.

sqlurl="无"
            if(message.find("div",{"class":"info"})!=None):
                murl=message.find("div",{"class":"info"})
                url = re.findall(reurl, str(murl))
                str(url).replace('href="','').replace('"','')
                sqlurl=str(url).replace('href="','').replace('"','')
                sqlurl=sqlurl.replace('[\'','').replace('\']','')

数据库的链接

数据库的链接需要
import mysql.connector
没有的话使用pip应该能轻松搞定
数据库连接代码

mydb = mysql.connector.connect(
host="localhost", # 数据库主机地址
user="root", # 数据库用户名
passwd="",
database="bookbs"
,charset='utf8')
mycursor = mydb.cursor()

如何调用数据库

sqlExit = "SELECT * FROM bookinfo WHERE subject_id = %s" % (sqlbookid)
            mycursor.execute(sqlExit)
            res=mycursor.fetchone()
            if res:
                print("重复!")
                continue