python爬取豆瓣读书_爬取豆瓣读书.py

import requests

from fake_useragent import UserAgent

from pyquery import PyQuery as pq

import csv

import time

import pymongo

import random

'''

因为CSV模块我学的不是很好 所有那个write2csv函数我就注释掉了

因为运行就会出错 等学了 CSV在改进下 于是我直接扔进数据库了

豆瓣是个静态网页 所有的的我们想要的数据全在一个网页中呈现出来了

我们也不用考虑什么算法加密啥的高端玩法 直接获取网页HTML然后提取数据 就O的K了

如果学过CSV 想保存为CSV格式的可以改下write2csv函数 也可以直接改下数据库IP 扔进数据库中

如果放进数据库 这样查询起来要比CSV的方便很多 比如查询评分为9.0的书籍

如果数据库端口自己改变过 在参数后面加上端口 如果有name和pass也请自信加上

'''

clien=pymongo.MongoClient(host='自己的数据库')

db=clien.Douban_reading

coll=db.text

ua=UserAgent()

def parsing(page):

URL = 'https://read.douban.com/kind/100?start={}&sort=hot&promotion_only=False&min_price=None&max_price=None&works_type=None'.format(page)

headers = {

'User-Agent': ua.random

}

sponse = requests.get(URL, headers=headers).text

doc=pq(sponse)

All=doc('.item.store-item').items()

for i in All:

#书名

Title=i.find('.title').text()

#作者

The_author=i.find('.author-item').text()

#译者(翻译过来的作者)

The_translator=i.find('.author-item').text()

#书的评分

Scores_of_the_book=i.find('.rating-average').text()

#多少人评价

How_many_evaluation=i.find('.ratings-link').text()

#print(How_many_evaluation)

#书的价格

The_price=i.find('.original-tag').text()

#print(The_price)

#书的简介

Introduction_to_the=i.find('.article-desc-brief').text()

#print(Introduction_to_the)

info={}

info['书名']=Title

info['作者']=The_author

info['译者']=The_translator

info['书的评分']=Scores_of_the_book

info['多少人评价']=How_many_evaluation

info['书的价格']=The_price

info['书的简介']=Introduction_to_the

coll.insert_one(info)

print(info)

'''

def write2csv(page):

print('正在写入CSV文件')

with open('豆瓣读书热门列表.csv','a',newline='',encoding='utf8')as f:

fieldnames=['书名','作者','译者','书的评分','多少人评价','书的价格','书的简介']

writer=csv.DictWriter(f,fieldnames=fieldnames)

writer.writeheader()

data=parsing(page)

writer.writerow(data)

print('写入成功')

'''

#一共744页

for i in range(0,744):

try:

i=i*20

parsing(i)

time.sleep(int(random.randint(0,9)))

except Exception as e:

print(e.args)

一键复制

编辑

Web IDE

原始数据

按行查看

历史