本文介绍了如何利用Scrapy-Splash爬取淘宝页面。首先，展示了一个搜索手机的淘宝URL，然后通过访问本地的Splash服务获取渲染后的页面。接着配置了Scrapy爬虫文件，并成功执行。最后，通过在浏览器中运行爬虫，展示了Scrapy-Splash抓取网页的过程。
首先打开淘宝页面，搜索手机：
https://uland.taobao.com/sem/tbsearch?refpid=mm_26632258_3504122_32538762&clk1=04511dd93dde330d86022e9ce3a3dc46&keyword=手机&page=0
# 新建scrapy项目
scrapy startproject taobao
# 进入项目目录:
cd taobao
# 创建爬虫
scrapy genspider taobao_comment taobao.com
打开终端，运行docker：
sudo service docker start
运行splash容器：
sudo docker run -p 8050:8050 scrapinghub/splash
最低0.47元/天 解锁文章
扫一扫
324
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
