爬虫小案例-爬取当当网TOP500的图书并将数据存入数据库

在这里分享一个刚刚学习爬虫时自己做的一个小案例，爬取了当当网TOP500的图书信息，包括图书名称、作者名称和出版社的名称。

---

1.分析网页

url：http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-1
首先，我们在浏览器里输入以上这个网址这个网址，进入到我们本次将要爬取的网页，然后鼠标右键点击检查。
使用抓包工具，得到将要爬取的数据所在的位置。
解析图书名称的xpath解析式:

//ul/li/div[@class='name']/a/@title

获取图书作者xpath解析式：

//ul/li/div[@class='publisher_info']/a[1]/@title

获取出版社的xpath解析式：

//ul/li/div[@class='publisher_info'][2]/a/text()

---

2.具体实现

import requests
from lxml import etree
import pymysql
# 连接数据库所需要的参数
DBHOST = 'localhost'
DBUSER = 'root'
DBPASS = '215413'
DBNAME = 'librarysysterm'
db = pymysql.connect(host=DBHOST, user=DBUSER, password=DBPASS, database=DBNAME)
cur = db.cursor()  # 声明游标

print("连接数据成功")
print("正在插入数据========>")
if __name__ == "__main__":
    # 定义请求头
    header = {
        'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Safari/537.36'
    }
    # 爬取的网址
    url = "http://bang.dangdang.com/books/fivestars/01.00.00.00.00.00-recent30-0-0-1-%d"

    # 共爬取网页中对应的20页数据
    for page in range(21, 26):
            new_url = format(url%page) # 此处对网址进行分页处理
            html = requests.get(url=new_url,headers=header)
            if html.status_code == 200: # 获取状态码，若为200，则代表网页可以正常访问
                html.encoding = html.apparent_encoding
                page_text = html.text

            # 获取网页源代码
            tree = etree.HTML(page_text)
            book_name_list = tree.xpath("//ul/li/div[@class='name']/a/@title") # 在网页源代码中解析出图书名
            author_list = tree.xpath("//ul/li/div[@class='publisher_info']/a[1]/@title") # 在网页原代码中解析出作者姓名
            publishing_house = tree.xpath("//ul/li/div[@class='publisher_info'][2]/a/text()") # 在网页源代码中解析出出版社名称

            for data in zip(book_name_list,author_list,publishing_house):
                sql = 'INSERT INTO book(bookname,author,bookpress) VALUE (%s,%s,%s)' # 将爬取得到的数据存入数据库
                value = data
                cur.execute(sql,value)
                db.commit() # 提交
    print("图书信息数据插入成功!")
  

---

3.运行结果

运行到此处，爬虫程序就已经结束了，之后到数据库中查看数据的插入情况。

---

4.数据库展示

可以看到，每本图书的书名，作者以及出版社的信息已经存入到了数据库当中。到此，这个爬虫小案例就结束了。

---

xpath用来解析网页代码是我认为很适合刚刚学习爬虫的同学来使用，它相对于正则表达式更加简单，也更加方便。
好了，本次的分享就到这里了，如果你感觉我的分享对你有帮助的话，就请贡献一下你宝贵的一键三连可以吗。

---