python爬取豆瓣图书Top250

已于 2023-04-27 22:28:22 修改
阅读量3.4k 收藏 66
点赞数 10
文章标签： python 爬虫 vue flask 开发语言
于 2023-04-26 23:56:53 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_50280512/article/details/130397013
版权

实验要求：爬取豆瓣图书排行榜书单信息，存储到数据库中，并爬取图书评论进行数据分析，提取关键字做成词云展示。

实验成果：

image-20221019150712831

image-20221019150631588

词云效果图：

ciyunYuan

ciyun2

废话不多说，直接开始实战！

爬取数据

先来看简单的例子：

import requests
from bs4 import BeautifulSoup
url = "https://book.douban.com/top250" 
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/77.0.3865.90 Safari/537.36'
}
res = requests.get(url,headers=headers)
soup = BeautifulSoup(res.text,'html.parser')
#提取书名和链接
items = soup.select('.pl2 a') 
for item in items:
      name = item['title'] 
      link = item['href'] 
      print(name,link)

得到的结果为：

红楼梦 https://book.douban.com/subject/1007305/ 
活着 https://book.douban.com/subject/4913064/ 
1984 https://book.douban.com/subject/4820710/ 
百年孤独 https://book.douban.com/subject/6082808/ 
三体全集 https://book.douban.com/subject/6518605/ 
飘 https://book.douban.com/subject/1068920/
...

改进：

1.实现模拟登录

我们在访问网站时，若在一段时间内访问次数过多，网站会检测到异常随后封掉我们的ip，所以在请求时，应在header中写入 user-agent 和 cookie 来模拟登录信息，且要不断变更user-agent来模拟登录。同时，设置休眠时间，避免高频率的爬取

user_Agent = [
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 61.0.3163.100Safari / 537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, likeGecko) Chrome / 39.0.2171.95Safari / 537.36OPR / 26.0.1656.60',
    'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0Opera9.50',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)']

page = requests.get(url=url, headers={"User-Agent": random.choice(user_Agent)})

time.sleep(random.random()*3)

使用正则表达式对爬取的内容进行提取，并将结果保存到 txt 和数据库中

import re

findLink = re.compile(r'<a href="(\S*)"')
findName = re.compile(r'title="(.*?)"')
findQuote = re.compile(r'<span class="inq">(\S*)</span>')
findStar = re.compile(r'<span class="rating_nums">(\S*)</span>')
findAuthor = re.compile(r'<p class="pl">(.*?)</p>')
    
link = re.findall(findLink,str(item))
name = re.findall(findName,str(item))
quote = re.findall(findQuote,str(item))
if(quote==[]):
     quote = ['null']
star = re.findall(findStar, str(item))
author = re.findall(findAuthor, str(item))

#打印结果
print(name[0] + ' ' + link[0] + ' ' + author[0] + ' ' + quote[0] + ' ' + star[0])
fp.write(name[0] + ' ' + link[0] + ' ' + author[0] + ' ' + quote[0] + ' ' + star[0] + '\n')
cursor.execute(sql, [name[0], link[0], author[0], quote[0], star[0]])

#存储到数据库记得commit()!
db.commit()

完整代码：

import random
import time
import requests
from bs4 import BeautifulSoup
import re
import pymysql

db = pymysql.connect(host='127.0.0.1', user='root', password='******', database='Pachong')
cursor = db.cursor()
sql = '''insert into info(name,link,author,quote,star) values(%s,%s,%s,%s,%s);'''

user_Agent = [
    'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_6) AppleWebKit/537.36(KHTML, like Gecko) Chrome / 61.0.3163.100Safari / 537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, likeGecko) Chrome / 39.0.2171.95Safari / 537.36OPR / 26.0.1656.60',
    'Mozilla/5.0 (Windows NT 5.1; U; en; rv:1.8.1) Gecko/20061208 Firefox/2.0.0Opera9.50',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; en) Opera 9.50',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:34.0) Gecko/20100101 Firefox/34.0',
    'Mozilla/5.0 (X11; U; Linux x86_64; zh-CN; rv:1.9.2.10) Gecko/20100922 Ubuntu/10.10 (maverick) Firefox/3.6.10',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/534.57.2 (KHTML, like Gecko) Version/5.1.7 Safari/534.57.2',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.71 Safari/537.36',
    'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.133 Safari/534.16',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/30.0.1599.101 Safari/537.36',
    'Mozilla/5.0 (Windows NT 6.1; WOW64; Trident/7.0; rv:11.0) like Gecko',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.1 (KHTML, like Gecko) Chrome/21.0.1180.71 Safari/537.1 LBBROWSER',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; LBBROWSER)',
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; .NET4.0C; .NET4.0E; QQBrowser/7.0.3698.400)',
    'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; QQDownload 732; .NET4.0C; .NET4.0E)',
    'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.84 Safari/535.11 SE 2.X MetaSr 1.0',
    'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; Trident/4.0; SV1; QQDownload 732; .NET4.0C; .NET4.0E; SE 2.X MetaSr 1.0)']

fp = open("PachongTest.txt","w",encoding='utf-8')
i = 0
for i in range(0,226,25):
    print(i)
    url = "https://book.douban.com/top250?start="+str(i)
    page = requests.get(url=url, headers={"User-Agent": random.choice(user_Agent)})
    time.sleep(random.random() * 3)
    soup = BeautifulSoup(page.text,'html.parser')
    # print(soup)
# 提取书名和链接
    items = soup.select('.item')
    findLink = re.compile(r'<a href="(\S*)"')
    findName = re.compile(r'title="(.*?)"')
    findQuote = re.compile(r'<span class="inq">(\S*)</span>')
    findStar = re.compile(r'<span class="rating_nums">(\S*)</span>')
    findAuthor = re.compile(r'<p class="pl">(.*?)</p>')
    for item in items:
        link = re.findall(findLink,str(item))
        name = re.findall(findName,str(item))
        quote = re.findall(findQuote,str(item))
        if(quote==[]):
            quote = ['null']
        star = re.findall(findStar, str(item))
        author = re.findall(findAuthor, str(item))
        # print(quote)
        print(name[0] + ' ' + link[0] + ' ' + author[0] + ' ' + quote[0] + ' ' + star[0])
        fp.write(name[0] + ' ' + link[0] + ' ' + author[0] + ' ' + quote[0] + ' ' + star[0] + '\n')
        cursor.execute(sql, [name[0], link[0], author[0], quote[0], star[0]])
db.commit()
cursor.close()
db.close()

爬取评论几乎同理。

数据库结果：

image-20221019151028868

数据清洗

爬取到数据后，由于数据杂乱，需要对数据进行关键字提取与停用无用词

停用词表：

image-20221019151519924

import jieba
import wordcloud

stopwords_filepath = r"scu_stopwords.txt" #引用停用词

# 创建停用词list
def stopwordslist(stopwords_filepath):
    stopwords = [line.strip() for line in open(stopwords_filepath, 'r',
                                               encoding='utf-8-sig', errors='ignore').readlines()]
    return stopwords

# 对句子进行分词
def seg_sentence(sentence):
    sentence_seged = jieba.cut(sentence.strip())
    stopwords = stopwordslist(stopwords_filepath)  # 这里加载停用词的路径
    outstr = ''
    for word in sentence_seged:
        if word not in stopwords:
            if word != '\t':
                outstr += word
                outstr += " "
    return outstr

inputs = open(r'commentsAll.txt', 'r', encoding='utf-8', errors='ignore')
outputs = open(r'result2.txt', 'w',encoding='utf-8')
for line in inputs:
    line_seg = seg_sentence(line)
    outputs.write(line_seg + '\n')
outputs.close()
inputs.close()

分词前：

image-20221019152659482

分词后：

image-20221019152715825

使用jieba进行关键词提取（按频率），并使用 wordcloud生成词云图

import jieba.analyse
import wordcloud
path = 'result2.txt'
file_in = open(path)
s = file_in.read()
y = ''

for x, w in jieba.analyse.extract_tags(s, topK=100, withWeight=True):  #基于 TF-IDF 算法，抽取10个关键词
    print('%s %s' % (x, w))
    y+=x+' '
print(y)
wc = wordcloud.WordCloud(
        background_color='white',   # 图片背景颜色
        font_path='/System/Library/Fonts/PingFang.ttc',    # 词云字体
        scale=15
)
# 给词云输入文字
wc.generate(y)
# 词云图保存图片地址
wc.to_file('ciyun.png')

ciyun

flask后端搭建

搭建简易后台

from flask import Flask,render_template
from flask_cors import CORS, cross_origin
import pymysql


db = pymysql.connect(host='127.0.0.1', user='root', password='******', database='Pachong')
cursor = db.cursor(cursor=pymysql.cursors.DictCursor)
sql = '''select * from info;'''
sql2 = '''select * from comments;'''
info = cursor.fetchmany(cursor.execute(sql))
comments = cursor.fetchmany(cursor.execute(sql2))

app = Flask(__name__)
CORS(app, resources=r'/*')

@app.route('/getAll', methods=['GET', 'POST'])
def getInfo():
    return info

@app.route('/getComments', methods=['GET', 'POST'])
def getComments():
    return comments
  
if __name__ == '__main__':
    app.run()

接口展示：

image-20221019150847800

Vue前端搭建

路由Vue-Router

image-20221019151859265

image-20221019152019365

info代码：

<template>
    <div>
        <el-table :data="tableData.slice((currentPage-1)*pageSize,currentPage*pageSize)" stripe style="width: 100%">
            <el-table-column prop="name" label="书名" />
            <el-table-column prop="link" label="链接">
                <template slot-scope="scope">
                    <a :href="scope.row.link" >{{scope.row.link}}</a>
                </template>
            </el-table-column>
            <el-table-column prop="author" label="作者" />
            <el-table-column prop="quote" label="引言" />
            <el-table-column prop="star" label="评分" />
        </el-table>
        <el-pagination background
        align = 'right'
        :page-size="pageSize" 
        layout="prev, pager, next" 
        :total="tableData.length"
        :current-page="currentPage"
        @size-change="handleSizeChange"
        @current-change="handleCurrentChange" 
        />
    </div>
</template>

<script>
// import axios from 'axios'
export default {
    name: 'info',
    props: {
        msg: String
    },
    data() {
        return {
            tableData: [
                {
                    name: 'ss'
                }
            ],
            currentPage:1,
            pageSize:10,
        }
    },
    mounted() {
        console.log("加载成功")
        this.getInfo()
    },
    methods: {
        getInfo() {
            this.axios.get("http://127.0.0.1:5000/getAll").then(res => {
                console.log(res.data)
                this.tableData = res.data
            })
        },
        handleSizeChange(val) {
   console.log(`每页 ${val} 条`);
   this.currentPage = 1;
   this.pageSize = val;
  },
        handleCurrentChange(val) {
   console.log(`当前页: ${val}`);
   this.currentPage = val;
  }
    },
}
</script>

<!-- Add "scoped" attribute to limit CSS to this component only -->
<style scoped>
h3 {
    margin: 40px 0 0;
}

ul {
    list-style-type: none;
    padding: 0;
}

li {
    display: inline-block;
    margin: 0 10px;
}

a {
    color: #2b8ae9;
}
.el-pagination{
    margin-top: 20px;
}
</style>
喜东东L
关注
  • 10
    点赞
  • 踩
  • 66
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
豆瓣读书top250的书籍数据爬虫Python全代码实现
qq_72242066的博客
01-16 2570
豆瓣读书top250的书籍数据爬虫Python全代码实现
python爬取豆瓣读书top250并保存xls（含源码）
jadsgfuhya的博客
06-06 1151
python爬取豆瓣读书top250并保存xls（含源码） 又是霍霍豆瓣的一天O(∩_∩)O哈哈~。 目标网站：http://book.douban.com/top250/ 全军出击！！！ 首先，按下F12 可以点击左上角小按钮快速查看xpath哦 ok，开始爬虫！ 首先导入库 import re import xlwt import requests from bs4 import BeautifulSoup 因为xlwt和bs4不是python自带的库，所以我们要自行去cmd: pip insta
爬虫经典案例之爬取豆瓣读书Top250的书籍信息
最新发布
你说亮不亮的博客
06-18 778
【代码】使用爬虫爬取豆瓣读书Top250的书籍信息。
python爬取豆瓣电影Top250
08-06
Python3爬虫入门，爬取豆瓣电影Top250的排名、中文名称、豆瓣评分、时间、地区等内容，需要用到requests、bs4
python简单爬虫，获取豆瓣top250书单（datawhale组队学习task4）
freshman的博客
07-21 2592
自学简单爬虫，给出了豆瓣top250书本的爬虫代码
爬取豆瓣图书TOP250
阳光zfc
08-05 735
headers={'User-Agent':'Mozilla/5.0 (Windows NT 6.3; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'} fp=open("H:/doubanbook.csv",'wt',newline='',encoding='utf-8') wri...
python按关键字爬取必应高清图片
澄南澄北的博客
09-08 3932
通过查询前人的博客，发现必应可通过url按关键字查找图片： https://www.bing.com/images/async?q=查询关键字&first=图片编号&count=图片数量&mmasync=1 基于该url，我写了一个爬虫类，实现了按关键字下载固定数量的必应高清图片。调用时只需要一条python语句即可（由于使用了线程池并发请求图片，所以下载速度较快，一分钟300张高清图片没问题）： # 关键词：电脑壁纸 # 需要的图片数量：100 # 图片保存路径：'.
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel
12-21
Python爬取豆瓣top250电影数据，并导入MySQL，写入excel 具体数据：电影链接、电影名称、电影评分、评分人数、电影概括 import pymysql import xlwt from bs4 import BeautifulSoup from urllib import request ...
python爬取豆瓣top250并下载图片
10-03
在本项目中，我们主要探讨的是使用Python进行网络爬虫，目标是获取豆瓣电影Top250的数据，并将其存储到Excel表格中，同时下载相关的图片。这是一个初学者入门级的爬虫项目，对于想要了解Python爬虫基础的朋友来说...
爬取豆瓣图书TOP250信息并简单分析展示
02-04
标题 "爬取豆瓣图书TOP250信息并简单分析展示" 涉及的主要知识点是网络爬虫技术和数据分析，以及如何使用Python中的Scrapy和Django框架来实现这一过程。以下是对这些技术的详细说明： 1. **Scrapy框架**： Scrapy...
Scrapy爬取豆瓣图书Top250代码实现.txt
07-18
爬取豆瓣网图书TOP250的信息，只有一级网页结构，可以帮助初学时入门。
Python课程设计答辩ppt——豆瓣读书TOP250的数据爬取及可视化设计
06-16
Python课程设计答辩ppt——豆瓣读书TOP250的数据爬取及可视化设计
利用python爬取豆瓣读书TOP-250
Jie_Ger的博客
11-20 590
import re import requests from bs4 import BeautifulSoup def book(target_url): books = [] # 使用requests返回网页的整体结构 book = requests.get(target_url) # 使用lxml作为解析器，返回一个Beautifulsoup对象 so...
python爬虫获取豆瓣图书Top250
大数据梦想家
11-04 6198
        在上一篇博客《python爬虫获取豆瓣电影TOP250》中,小菌为大家带来了如何将豆瓣电影Top250的数据存入MySQL数据库的方法。这次的分享,小菌决定再带着大家去研究如何爬取豆瓣图片的Top250信息，并将数据保存在csv文件中! 我们先根据网址https://book.douban.com/to...
【Python爬虫_4】爬取豆瓣图书Top250；
weixin_42024812的博客
04-01 567
import requests from lxml import etree import json import pprint import time class DoubanBook(object): def __init__(self): self.url = 'https://book.douban.com/top250?start={}' se...
爬取豆瓣图书top250
bbW.的博客
01-20 4315
爬取豆瓣图书top250 豆瓣网址：https://book.douban.com/top250 豆瓣图书第一页：https://book.douban.com/top250?start=0 豆瓣图书第二页：https://book.douban.com/top250?start=25 豆瓣图书第三页：https://book.douban.com/top250?start=50 豆瓣图书第四页：https://book.douban.com/top250?start=75 …… …… 从上面可以看出来.
Python爬虫之豆瓣TOP250爬取
fuyao2209的博客
04-10 3535
@ 1.
Python爬虫爬取豆瓣top250
weixin_54485193的博客
05-01 3067
安装相应库以后，直接复制代码，运行，输入起始页码 1，截至页码 10，就可以了， 豆瓣是一页25条数据（现在是2022年5月1日，以后人家更新具体会换每页几条数据不确定，但是随之页码也要换，不换就有可能报错） import urllib.request import urllib.parse def create_request(page): base_url = "https://movie.douban.com/top250?" data={ 'start':
python爬取豆瓣读书Top250
05-26
好的，以下是一个爬取豆瓣读书Top250的Python代码示例: ``` import requests from bs4 import BeautifulSoup url = 'https://book.douban.com/top250?start=' headers = { 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3'} book_list = [] for i in range(0, 10): start_num = str(i * 25) req = requests.get(url + start_num, headers=headers) soup = BeautifulSoup(req.text, 'html.parser') books = soup.find_all('div', {'class': 'pl2'}) for book in books: book_name = book.find('a')['title'] book_url = book.find('a')['href'] book_list.append(book_name) print(book_list) ``` 首先，我们定义了URL和headers。我们将使用requests库来获取网页内容，并使用BeautifulSoup库来解析HTML。然后我们定义了一个空列表，用于存储书籍名称。 接下来，我们循环遍历Top250的所有页面，每页显示25本书。我们使用requests库来获取页面内容，并使用BeautifulSoup库将其解析为HTML。 我们找到了每个书籍的div列表项，并从中提取书名和URL。我们将书名添加到我们之前定义的空列表中。 最后，我们输出整个书籍列表。 希望这可以帮助到你。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值