2021-04-25

豆瓣小说采集程序

import requests
from bs4 import BeautifulSoup
import sqlite3
import time

#获取分页的地址
root_url='https://book.douban.com/tag/%E5%B0%8F%E8%AF%B4?start=100&type=T'
headers={
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.72 Safari/537.36 Edg/90.0.818.42'
}
html= requests.get(root_url,headers=headers).text
#下面page_div获得页面最下面的页数导航地址
page_div = BeautifulSoup(html,'html.parser').select('#subject_list > div.paginator a')
root='https://book.douban.com/tag'
page_urls=[root+item.attrs['href'] for item in page_div]

下图为下面分页栏的前十页地址链接

contents=[]
for url in page_urls:
    html = requests.get(url).text
    #获取每页的所有书名
    name_div = BeautifulSoup(html,'html.parser').select('h2')
    names_list = [item.text for item in name_div]
        #获取每页的所有书的作者，出版社，出版日期等信息
    detail_div = BeautifulSoup(html,'html.parser').select('#subject_list > ul > li> div.info > div.pub')
    details_list = [item.text.replace('\n','') for item in detail_div]
        #获取每页所有小说的简介内容，需要再进一个子网页进行内容获取
        #下面more：获得具体某个小说的链接
	more=BeautifulSoup(html,'html.parser').select('#subject_list > ul > li > div.info > h2 > a')
	more_url=[item.attrs['href'] for item in more]
    #获得具体某个小说的内容简介并存如brief列表
	brief_list=['null' if BeautifulSoup(requests.get(item,headers=headers).text,'html.parser').select('#link-report p')is None 	else BeautifulSoup(requests.get(item,headers=headers).text,'html.parser').select('#link-report p')for item in more_url]
    #获得评价及评价人数的内容列表
    grade_div = BeautifulSoup(html,'html.parser').select('#subject_list > ul > li> div.info > div.star.clearfix')
    grade_list = [item.text.replace('\n','') for item in grade_div]
    contents.append(names_list+details_list+brief_list+grade_list)#将所有的列表总合为一个大的列表
    time.sleep(0.1)

下图为爬取的一页的所有小说内容简介成功运行证明：

#创建一个数据库
conn = sqlite3.connect('douban.db')
#创建表： id,name,details,grade,brief 小说名、  作者出版社出版日期价格等信息   评分及评分人数  内容简介
sql = "create table douban10(id integer primary key autoincrement,name text,detail varchar(200),brief varchar(3500),grade varchar(50) ）"
conn.execute (sql)
conn.commit()


print("开始存入数据库....")
page=contents
for index,page in enumerate(contents):
     print("写入第{}页的小说信息".format(index+1))
     for i in range(20):    
        name=page[i]
        detail=page[i+20]
        brief=page[i+40]
        grade=page[i+60]
        sql="insert into douban10 values(null,'{}','{}','{}','{}')".format(name,detail,brief,grade)
        conn.execute(sql)
        conn.commit()
     print("第{}页的小说信息已经爬取完毕，稍等进行下一页".format(i+1))
print("恭喜你，前10页小说信息已经存储完毕...")
    

#数据库查询
sql="select*from douban"
cursor=conn.cursor()
cursor.execute(sql).fetchall()