基于Python爬虫对当当网图书信息采集（10w条数据）+代码

基于搜索结果，我将为您提供一个关于当当图书网数据采集的文章框架，假设我们已经有了10万条数据的采集结果。请注意，由于没有具体的数据文件，以下内容将是一个示例性的框架，您可以根据实际采集到的数据进行填充和调整。

---

当当图书网数据采集分析：10万条数据的深入洞察

引言

在数字化时代，数据成为了理解和预测市场趋势的关键。本文将展示如何通过数据采集技术从当当图书网获取10万条图书数据，并对其进行分析，以揭示图书市场的一些有趣现象和趋势。

数据采集

采集工具与方法

• 使用Python语言结合requests和lxml库进行网络爬虫开发。
• 通过XPath表达式精确提取图书信息，包括书名、作者、单价、出版日期、出版社和书籍简介。

数据采集过程

1. 确定采集目标和关键字。
2. 发送HTTP请求获取网页内容。
3. 解析网页，提取所需数据。
4. 遍历多页以获取更多信息。
5. 异常处理和数据存储。

数据处理

数据清洗

• 使用pandas库进行数据清洗，移除不完整或错误的记录。
• 转换数据类型，确保数据的一致性和准确性。

数据存储

• 将清洗后的数据存储至Excel文件和数据库中，以便进一步分析。

数据分析

书籍价格分布

• 分析不同价格区间的图书数量，揭示市场的价格偏好。

出版社影响力

• 统计各出版社的图书数量，评估市场影响力。

作者贡献度

• 计算每位作者的图书数量，识别市场上的热门作者。

评论分析

• 分析图书评论的分布情况，了解读者的反馈和偏好。

数据可视化

价格分布图

• 柱状图展示不同价格区间的图书数量。

出版社排名图

• 折线图展示出版社的图书数量排名。

作者出书数量图

• 条形图展示作者的出书数量。

评论热力图

• 热力图展示图书评论的分布情况。

结论

通过对10万条当当图书网数据的采集和分析，我们能够深入理解当前图书市场的动态，为出版社、作者和读者提供有价值的市场洞察。

---

完整代码

def get_page_tree(url):
    from requests.adapters import HTTPAdapter
    page = requests.session()
    page.mount('http://',HTTPAdapter(max_retries=80))
    page.mount('https://',HTTPAdapter(max_retries=80))
    page = page.request("GET",url=url,timeout=120)
    print('page ' , page ,page.text)

    tree = etree.HTML(page.text)
    return tree


# xpath语法 获取li对象 因为li标签不只一个 所以用lis
def get_lis(tree):
    lis = tree.xpath('//*[@id="search_nature_rg"]/ul/li')
    return lis


def deal_save(url , pressN,page_index):
    global sum
    global row
    tree = get_page_tree(url)
    # 获取到lis对象
    lis = get_lis(tree)
    # time.sleep(random.randint(1,3))
    print("正在爬取...", url)
    # 遍历lis 返回index下标和item
    try:
        for c, i in enumerate(lis):
            # 根据xpath规则提取图书标题
            name = i.xpath('a/@title')
            name = str(name[0])
            name = name.strip()
            # 根据xpath规则提取图书描述
            desc = i.xpath('p[2]/text()')
            # 根据xpath规则提取图书价格和该书电子书的价格
            price_normal = i.xpath('p[3]/span[1]/text()')  # 纸质书的价格

            price_normal = price_normal[0]
            price_net = i.xpath('p[3]/a/i/text()')  # 电子书的价格
            # 根据xpath规则提取图书的作者
            author = i.xpath('p[@class="search_book_author"]/span[1]/a/text()')  # 作者
            if len(author) == 0:
                author = '没有作者'
            else:
                author = author[0]
            # 根据xpath规则提取图书出版时间
            press_time = i.xpath('p[@class="search_book_author"]/span[2]/text()')
            if len(press_time) == 0:
                press_time = '出版时间为空'
            else:
                press_time = press_time[0][2:]
            # 根据xpath规则提取图书出版社
            press = i.xpath('p[@class="search_book_author"]/span[3]/a/text()')
            if len(press) == 0:
                press = '出版社为空'
            else:
                press = press[0]
            if len(desc) != 0:
                desc = desc[0]
            else:
                desc = "null"
            if len(price_net) != 0:
                price_net = price_net[0]
            else:
                price_net = "暂无电子书"
            sum += 1
            # 输出信息
            print('第{}页--第{}条数据--累计爬取{}条:'.format(page_index, c, sum))
            print('书名:《{}》'.format(name))
            print('图书价格:{}'.format(price_normal))
            print('电子书价格:{}'.format(price_net))
            print('作者:{}'.format(author))
            print('出版社:{}'.format(press))
            print('出版时间:{}'.format(press_time))
            print('*' * 25)
            time.sleep(0.1)
            # 保存信息
            sheet.write(row, 0, name)
            sheet.write(row, 1, desc)
            sheet.write(row, 2 , price_normal)
            sheet.write(row, 3 , price_net)
            sheet.write(row, 4 , author)
            sheet.write(row, 5 , press_time)
            sheet.write(row, 6 , press)
            row = row + 1

    except Exception as e:
        print(e)



# 主要爬虫程序  遍历给定出版社 所有的图书
def start (url , pressN):
    # 获取page的etree
    new_url = url.format(press_name, 1)
    tree = get_page_tree(new_url)
    # 获取该出版社展示图书总页数
    total = tree.xpath('//*[@id="12810"]/div[5]/div[2]/div/ul/li[9]/a/text()')[0]
    print('{}一共{}页'.format(pressN,total))
    # 全局变量的sum 总数
    global sum
    # time.sleep(2)
    # 线程保存的数组
    threads = [ ]
    # 遍历所有页面 从1到total
    for page_index in range(1, int(total) + 1):
        time.sleep(0.2)
        temp_url = url.format(pressN,page_index)
        temp_t = Thread(target=deal_save , args = ( temp_url,press_name,page_index, ))
        threads.append(temp_t)
        temp_t.start()
    for index, t in enumerate(threads):
        t.join()


if __name__ == '__main__':
    # 通过file读取所有出版社 保存为list数组
    s = time.time()
    press = []


    with open('Press.txt' , 'r' , encoding='utf-8') as f :
        a = f.read()
        f.close()
    # 拆封数据
    press = a.split('\n')
    url = 'http://search.dangdang.com/?key={}&page_index={}'
    # 遍历所有出版社
    for press_name in press:
        start(url , press_name)
        print('正在采集{}'.format(press_name))

    end = time.time()
    book.save('当当网图书汇总.xlsx')
    print(  '共花费：' ,str((end-s) ) , 's ,共计爬取:{}条'.format(sum))