1 准备工作
- 确定抓取目标
详情页:ID / 书名 / 折扣价 / 总评分 / 总评论数
商品页:出版日期 / 出版社 / ISBN / 类型 / 作者 - 注意问题:
- 新建数据库的表
打开docker,运行splash
docker run -p 8050:8050 scrapinghub/splash
原价 / / 书店名
2 建立项目
- 修改Items字典
- 修改spider爬虫
- 修改pipelines存储
- 修改setting 数据库、agent
打开docker,运行splash
docker run -p 8050:8050 scrapinghub/splash
原价 / / 书店名