【京东】scrapy爬虫抓取京东图书详情、评论
最新推荐文章于 2023-04-01 16:10:53 发布
本文档记录了使用scrapy爬虫配合splash处理京东图书页面的前期准备工作,包括参考资源、测试动态页面、启动splash服务。在win10环境下遇到并解决了一系列问题,如splash模块找不到、twisted.enterprise导入错误、_win32stdio导入错误以及splash.downloadermiddlewares模块缺失等。最终成功设置环境,明确了抓取目标,包括商品的详细信息和评论。
摘要由CSDN通过智能技术生成