数据采集之豆瓣读书

最新推荐文章于 2025-02-14 22:04:03 发布

outside-R

最新推荐文章于 2025-02-14 22:04:03 发布

阅读量510

点赞数

分类专栏：数据采集文章标签： xpath mysql

本文链接：https://blog.csdn.net/weixin_45044349/article/details/117408036

版权

该博客讲述了如何爬取豆瓣读书网站的最新数据，并将这些数据存储到数据库中，涉及的技术包括XPath和MySQL。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

爬取【豆瓣读书https://book.douban.com/latest?icn=index-latestbook-all】，并将爬取的内容添加导数据库中。
在这里插入图片描述

数据库

cmd
C:\Users\admin>mysql -u root -p
mysql> show databases;
mysql> use spier;
mysql> create table douban(Id Int,BookName varchar(100),Score varchar(20),Autor varchar(100),Press varchar(200),Pubdate varchar(20),describ varchar(3000))ENGINE=InnoDB DEFAULT CHARSET=utf8;  //建表

运行代码

from lxml import etree
import requests
import pymysql

def get_html(url,headers,time=10):  #get请求通用函数，去掉了user-agent简化代码
    try:
        r = requests.get(url, headers=headers,timeout=time)  # 发送请求
        r.encoding = r.apparent_encoding  # 设置返回内容的字符集编码
        r.raise_for_status()  # 返回的状态码不等于200抛出异常
        return r.text  # 返回网页的文本内容
    except Exception as error:
      print