写爬虫,Python 是目前的第一选择,但总觉得 Python 太慢了,而且缺乏静态类型。能不能换 Go 语言来试试呢?Colly,这个既优雅又快速的 Go 语言爬虫框架,是你的不二选择。
![98abcc75c3002f171cf35c69cb6337be.png](https://img-blog.csdnimg.cn/img_convert/98abcc75c3002f171cf35c69cb6337be.png)
爬虫框架
简介
Colly,是 gocolly 组织在 Github 上开源的 Go 语言爬虫框架,代码仓库在 https://github.com/gocolly/colly,目前版本为 2.1.0。Colly 具有简洁的 API 设计;性能优越,单核上能达超越每秒一千请求;具备同步、异步和并行模式;支持缓存,能管理请求延迟和最大并发数;自动的 Cookie 和 Session 处理;自动的非 Unicode 响应编码处理;支持分布式爬取等等。
![75222dffb6ab337665237dd350c6ed57.png](https://img-blog.csdnimg.cn/img_convert/75222dffb6ab337665237dd350c6ed57.png)
Colly框架
安装
使用 go get 直接安装