爬虫之当当网手写实战总结

最新推荐文章于 2025-01-17 21:33:16 发布

JustDoIt952

最新推荐文章于 2025-01-17 21:33:16 发布

阅读量930

点赞数

分类专栏： PythonSpider

版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

本文链接：https://blog.csdn.net/hnust_yangjieyu/article/details/80602564

版权

本文详述了手动实现当当网爬虫的过程，包括分析URL、爬取数据、数据解析、数据处理及总结反思。通过Requests包进行请求，使用XPath提取书籍名称、链接和评论数，并将数据存储到数据库。

摘要由CSDN通过智能技术生成

当当网爬虫手动实现

一、分析url

当当网计算机网络网址为：

http://search.dangdang.com/?key=%BC%C6%CB%E3%BB%FA%CD%F8%C2%E7\&page_index=1

分析：key代表关键字编码，index为页面号，从网站中看出页面号有100页。所以在main中，page设置为:100。并且通过getUrls函数返回待爬取的url列表。

def getUrls(url,page=''):
    urls = []
    urls.append(url)
    page = int(page)+1
    for i in range(2,page):
        urls.append(url[0:len(url)-1]+str(i))

最低0.47元/天解锁文章

评论

被折叠的条评论为什么被折叠?

到【灌水乐园】发言

查看更多评论

添加红包

成就一亿技术人!

hope_wisdom

发出的红包

实付元

使用余额支付

点击重新获取

扫码支付

钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。