gocolly简介

应该是只菜鸟

已于 2023-10-07 15:06:32 修改

阅读量4.7k

点赞数

分类专栏： golang 文章标签： go

于 2019-02-03 21:38:29 首次发布

本文链接：https://blog.csdn.net/weixin_43787608/article/details/86760947

版权

gocolly是一个基于Golang的爬虫库，它依赖http.Client和goquery。gocolly提供简单易用的API，如设置回调函数和访问URL。核心组件Collector包含关键字段如UserAgent、MaxDepth等，用于控制爬虫行为。它还支持限制请求速率、处理重定向、使用代理及调试功能。虽然基础功能完善，但更复杂的反爬策略可能需要自定义实现。

摘要由CSDN通过智能技术生成

0x00

gocolly是使用golang实现的一个爬虫库。之前在爬某些网页的时候做过简单应用，最近在爬某电商网站的时候，发现关于这个还挺有意思，所以趁年前有时间，看了下源码实现。
gocolly内部依赖的是http.Client与goquery。其中goquery的语法和jquery相同，整个流程比较简单。

0x01

gocolly的使用很简单，具体可以看给出的一些例子。
套路一般就是设置相关的回调函数，然后访问某个URL，引擎会根据访问结果来调用相应的回调函数。
回调函数接口包括：

// RequestCallback is a type alias for OnRequest callback functions
type RequestCallback func(*Request)  //发起访问前调用回调

// ResponseCallback is a type alias for OnResponse callback functions
type ResponseCallback func(*Response) //访问结束后调用回调

// HTMLCallback is a type alias for OnHTML callback functions
type HTMLCallback func(*HTMLElement) //访问结束后根据不同的querySelector 调用回调

// XMLCallback is a type alias for OnXML callback functions
type XMLCallback func(*XMLElement) //访问结束后根据不同的querySelector 调用回调

// ErrorCallback is a type alias for OnError callback functions
type ErrorCallback func(*Re