Golang Colly批量爬取小红书图片

VIP文章 已于 2024-04-28 19:09:45 修改
阅读量1k 收藏 9
点赞数 23
文章标签： golang
于 2024-04-28 19:09:19 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frinder/article/details/138288212
版权

语言：Golang

库：Iris/Colly

先看输入日志：

Saved file: images\20240428190531_2_0.jpg
It is image 20240428190532_2_1.jpg
Saved file: images\20240428190532_2_1.jpg
It is image 20240428190533_2_2.jpg
Saved file: images\20240428190533_2_2.jpg
It is image 20240428190534_2_3.jpg
Saved file: images\20240428190534_2_3.jpg
It is image 20240428190535_2_4.jpg
Saved file: images\20240428190535_2_4.jpg
It is image 20240428190536_2_5.jpg
Saved file: images\20240428190536_2_5.jpg
It is image 20240428190537_2_6.jpg
Saved file: images\20240428190537_2_6.jpg
text/html; charset=utf-8
It is image 20240428190539_3_0.jpg
Saved file: images\20240428190539_3_0.jpg
text/html; charset=utf-8
It is image 20240428190539_4_0.jpg
Saved file: images\20240428190539_4_0.jpg
text/html; charset=utf-8
It is image 20240428190540_5_0.jpg
Saved file: images\20240428190540_5_0.jpg
It is image 20240428190541_5_1.jpg
Saved file: images\20240428190541_5_1.jpg
It is image 20240428190541_5_2.jpg
Saved file: images\20240428190541_5_2.jpg
It is image 20240428190542_5_3.jpg
Saved file: images\20240428190542_5_3.jpg
It is image 20240428190543_5_4.jpg
Saved file: images\20240428190543_5_4.jpg
It is image 20240428190543_5_5.jpg
Saved file: images\20240428190543_5_5.jpg

最低0.47元/天 解锁文章
frinder
关注
  • 23
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
golang爬虫将爬取的数据存入mongodb
07-22
golang爬虫将爬取的数据存入mongodb
Golang高效爬虫库colly
m0_61174587的博客
03-28 465
得到每天都百度热搜
（golang)HTTP基本认证机制及使用gocolly登录爬取
kslly的专栏
04-22 2915
内网有个网页用了HTTP基本认证机制,想用gocolly爬取，不知道怎么登录，只好研究HTTP基本认证机制 参考这里：https://www.jb51.net/article/89070.htm 下面开始参考作者dotcoo了：－） 看了<<http权威指南>>第12章HTTP基本认证机制（本站下载地址：//www.jb51.net/books/93254.htm...
Golang编写的爬取网页图片的小程序
Zane的博客
04-11 886
学习Golang语言也有一段时间了，对Golang的一些特性和优点也了解了不少，工作闲暇之余写了个爬取网页图片的小工具玩，有喜欢的码友可以下载下来编译玩玩，项目代码路径：https://github.com/xiezhijun/spidderGO.git 代码中主要是用 go 和 channel 配合使用，开启多个线程并发处理，一边爬取并解析网页，一边下载图片，如图所示: waitG...
好用的golang爬虫库colly
gangbo的专栏
04-21 911
Colly 是一个用于构建网络爬虫的 Golang 框架。使用 Colly，您可以构建各种复杂的网络爬虫，从简单的爬虫到处理数百万网页的复杂异步网站爬虫
Golang爬虫框架 colly 简介
m0_49337181的博客
05-10 1827
Golang爬虫框架 colly 简介 colly是一个采用Go语言编写的Web爬虫框架，旨在提供一个能够些任何爬虫/采集器/蜘蛛的简介模板，通过Colly。你可以轻松的从网站提取结构化数据，然后进行数据挖掘，处理或归档 项目特性 清晰明了的API 速度快（每个内核上的请求数大于1K） 管理每个域的请求延迟和最大并发数 自动cookie和会话处理 同步/异步/ 并行抓取 高速缓存 自动处理非Unicode编码 支持Robots.txt 支持Google App Engine 通过环境变量进行配置 可拓展
golang colly踩坑笔记
你好师姐！
01-24 2076
刚刚开始学习golang, 准备写个爬虫练练手,结果遇到了一堆问题 我遇到的问题主要是包导入的问题，有一些包因为墙 了的原因，有一些是因为未知原因，反正就是装不了 解决办法是啥呢？就是手动导入包。 因为已经修复了，就不贴报错了，懒得下载包 这里主要给出几个地址（提示，如果没有这个目录需要自己手动创建） 第一个 google.golang.org/appengine/urlfecth 如...
GoLang - colly爬虫框架
TheWeiJun的博客
12-05 2672
大家好，我是TheWeiJun。很高兴又和大家见面了，国庆假期马上就要结束了，在国庆假期里小编看了下colly框架，故这篇文章中将提到colly的使用及分析；欢迎各位读者多多阅读与交流！特别声明：本公众号文章只作为学术研究，不作为其它不法用途；如有侵权请联系作者删除。 目录一、colly框架简介二、colly特性说明三、爬虫架构对比四、colly框架实战五、colly总结说明一、colly框架简介前言：colly 是 Go 实现的比较有名的一款爬虫框架，而且 Go 在高并发和分布式场景的优势也正是爬虫技术所
golang爬虫框架colly简单介绍
phplife的电子商务网上商城专栏
05-04 2558
colly一款快速优雅的golang爬虫框架，简单易用，功能完备。
Golang 网络爬虫框架gocolly/colly（五）
稻草人技术博客
02-25 2167
gcocolly+goquery可以非常好地抓取HTML页面中的数据，但碰到页面是由Javascript动态生成时，用goquery就显得捉襟见肘了。解决方法有很多种： 一，最笨拙但有效的方法是字符串处理，go语言string底层对应字节数组，复制任何长度的字符串的开销都很低廉，搜索性能比较高； 二，利用正则表达式，要提取的数据往往有明显的特征，所以正则表达式写起来比较简单，不必非常严谨； 三，使...
golang image图片处理示例
12-31
本文实例讲述了golang image图片处理方法。分享给大家供大家参考，具体如下： golang处理图片挺简单的,我是过功能挺简单的,没有过一个缩略图方法. 代码如下:package main import (  “fmt”  “os”  “image” ...
基于golang 实现 图片处理
10-21
基于golang 实现 图片的缩放、裁剪、水印、拼接、蒙板、合并等操作的Util工具。
Go语言制作图片分辨率批量提取工具
09-20
1、 搭建Golang开发环境 2、 运行代码生成img.exe(如果直接用exe文件，可直接跳过步骤1和步骤2) 3、 创建pic文件夹 4、 将需要提取的图片复制到pic文件夹中 5、 双击img.exe 6、 查看生成的img.xlsx 7、 具体细节...
【GoLang基础】panic和recover有什么作用？
最新发布
玦尘的博客
05-10 441
`panic` 和 `recover` 是 Go 语言中用于处理异常和错误的机制，能够帮助我们应对意外情况并使程序更加健壮。但在编写代码时，应该仔细考虑何时使用 `panic` 和 `recover`，避免滥用，以确保程序的可维护性和稳定性。
golang内置包里面的sort.Slice 切片排序函数使用示例
05-08 336
var s1 = []int{133,144,21,69,83,37,56,38,68,123,23,89,170,8,76,120} // 这个就是要排序的int切片。参数说明 这个函数有2个参数， 第一个是你要进行排序的slice切片，地个要传递一个函数，这个函数就是你要对你的数据进行怎么样的排序。go语言里面用的最多的数据类型应该是切片Slice了， 今天就给大家介绍这个go内置包里面的切片排序函数的使用方法。怎么样，是不是很简单， 其他2个函数用法可参考后面的源码使用。
【GoLang基础】切片和数组有什么区别？
玦尘的博客
05-09 560
在 Go 语言中，切片（slice）和数组（array）是两种不同的数据类型，它们在使用和特性上有着明显的区别。
Golang | Leetcode Golang题解之第67题二进制求和
weixin_66442839的博客
05-04 681
Golang | Leetcode Golang题解之第67题二进制求和
Go标准库——Flag库和Log库
weixin_57023347的博客
05-07 813
有以下两种常见的定义命令行flag参数的方法。基本格式如下：flag.Type(flag名，默认值，帮助信息) *Type。name := flag.String("name", "张三", "姓名")age := flag.Int("age", 25, "年龄")married := flag.Bool("married", false, "婚否")delay := flag.Duration("d", 0, "时间间隔")
Colly — Golang爬虫开发示例
06-07
Colly是一个基于Golang的爬虫框架，它的设计理念是简单、快速、可定制化。下面是一个基本的Colly爬虫示例： ```go package main import ( "fmt" "github.com/gocolly/colly" ) func main() { c := colly.NewCollector() // 在访问页面之前执行的操作 c.OnRequest(func(r *colly.Request) { fmt.Println("Visiting", r.URL) }) // 在访问页面之后执行的操作 c.OnResponse(func(r *colly.Response) { fmt.Println("Visited", r.Request.URL) }) // 找到页面中的所有链接并访问它们 c.OnHTML("a[href]", func(e *colly.HTMLElement) { e.Request.Visit(e.Attr("href")) }) // 访问起始页面 c.Visit("http://go-colly.org/") } ``` 这个示例爬虫会访问Colly官网的所有链接，并输出访问的URL。除此之外，你还可以通过Colly提供的其他方法来定制化你的爬虫，例如限制访问频率、设置代理、解析HTML等。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值