Golang Colly下载小红书详情页面图片小爬虫

这篇博客介绍了如何使用Golang的Colly库爬取小红书详情页面的图片。作者提到起初尝试使用selenium,但由于需要搭建服务器而放弃。最终通过参考链接提供的思路,成功实现了图片的下载。代码运行过程中记录了每个图片的URL,并将其保存到指定文件夹。
摘要由CSDN通过智能技术生成

语言:Golang

库:Iris/Colly

目前网上相关内容比较少,查了很久才找到解决方法。

期间曾尝试使用 selenium 解决,但需要搭建 selenium server,就没有再折腾了。

直到找到:https://juejin.cn/post/7230780828795584567

虽然不是Colly实现的,但起码提供了解决思路~~

抱着试一试的心态,没想到真成功了。

代码输出日志:

Received Url: https://www.xiaohongshu.com/explore/66069af9000000001a017909
text/html; charset=utf-8
0 http://sns-webpic-qc.xhscdn.com/202404281403/770fd190d3a75c303f0a90b8617e4e00/1040g008310u4ij1c6k4g5orbdnunrdaapen0kv0!nd_dft_wlteh_webp_3
It is image 20240428140308_1.jpg
Saved file: images\20240428140308_1.jpg
Completed 200
1 http://sns-webpic-qc.xhscdn.com/202404281403/e6f11d10d7c186b8ca96351375bad89c/1040g008310u4ij1c6k3g5orbdnunrdaavkr2dr0!nd_dft_wlteh_webp_3
It is image 20240428140308_2.jpg
Saved file: images\20240428140308_2.jpg
Completed 200
2 http://sns-webpic-qc.xhscdn.com/202404281403/4c15493ed3f2c378233828b8967e1667/1040g008310u4ij1c6k305orbdnunrdaaa6hn8s0!nd_dft_wlteh_webp_3
It is image 20240428140308_3.jpg
Saved file: images\20240428140308_3.jpg
Completed 200
3 http://sns-webpic-qc.xhscdn.com/202404281403/945ecc47c07553017edf8d76b458eda1/1040g008310u4ij1c6k205orbdnunrdaaka5kfe0!nd_dft_wlteh_webp_3
It is image 20240428140308_4.jpg
Saved file: images\20240428140308_4.jpg
Completed 200
4 http://sns-webp

  • 6
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值