关于中国图书信息网的采集

关于中国图书信息网的采集

这个例子仅仅作为学习和测试使用，采集信息仅为该网站的第一页内容，采集过多怕会被封掉IP。
这个网站也是比较简单，普通的GET请求，方便大家对爬虫的入门学习。

话不多说直接上代码

import requests
from lxml import etree



while True:
    print("小说类图书网址：")
    print("http://www.bookschina.com/kinder/54000000/")
    print("历史类图书网址：")
    print("http://www.bookschina.com/kinder/37000000/")
    print("军事类图书网址：")
    print("http://www.bookschina.com/kinder/62110000/")
    print("社会科学类图书网址：")
    print("http://www.bookschina.com/kinder/48140000/")

    url = input("请杨仙姑输入爬取网址：")
    url = url.strip()

    headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"
    }

    res = requests.get(url,headers=headers)
    res = res.content.decode("gbk")
    html = etree.HTML(res)
    book_name = html.xpath("//*[@id='container']/div/div[1]/div[1]/ul/li[*]/div[2]/h2/a/text()")
    book_author = html.xpath("//*[@id='container']/div/div[1]/div[1]/ul/li[*]/div[2]/div[1]/a[1]/text()")
    book_price = html.xpath("//*[@id='container']/div/div[1]/div[1]/ul/li[*]/div[2]/div[2]/span[1]/text()")

    if url == "http://www.bookschina.com/kinder/54000000/":
       book_type = "小说"
    elif url=="http://www.bookschina.com/kinder/37000000/":
        book_type = "历史"
    elif url == "http://www.bookschina.com/kinder/62110000/":
        book_type = "军事"
    elif url == "http://www.bookschina.com/kinder/48140000/":
        book_type = "社会科学"


    data = ["书名","价格","作者","类型"]
    with open("图书信息采集.txt", "w", encoding="utf8") as f:
        for x in data:
           f.write(x+" ")
        f.write("\n")


    for i in range(len(book_name)):
        b_name = book_name[i]
        b_price = book_price[i]
        b_author = book_author[i]
        b_type = book_type
        print("杨仙姑告诉你一个消息《",b_name,"》采集成功了！")
        with open("图书信息采集.txt", "a", encoding="utf8") as f:
            f.write(b_name + " ")
            f.write(b_author + " ")
            f.write(b_type + " ")
            f.write(b_price + " ")
            f.write("\n")
    print("数据采集完成！")

    exits = input("请确认是否退出y/n:")
    if exits == "y":
        break
    elif exits=="n":
        continue
    else:
        print("请输入正确的指令 y或n，或者直接退出！")

结语

因为自己测试的oracle为XE版本，连接不稳定，所以就没有将数据存入oracle数据库，也没必要，只是存到了一个txt文档里面。有兴趣的可以试一试mysql 和 sqlserver 这两个中型数据库也是完全够用的。