golang 爬虫之 gospider (requests--基础篇)

最新推荐文章于 2024-07-07 20:18:29 发布

Mr_Bai_404

最新推荐文章于 2024-07-07 20:18:29 发布

阅读量1.1k

点赞数

分类专栏： gospider--requests 文章标签： golang 爬虫 python

本文链接：https://blog.csdn.net/Mr_bai_404/article/details/128923384

版权

gospider--requests 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

gospider是一个用Golang编写的强大爬虫工具，它包含反爬虫策略，适用于Golang开发者的网络抓取需求。要安装gospider，可以使用goget命令。示例代码展示了如何创建客户端并发起GET请求来获取网页内容。

摘要由CSDN通过智能技术生成

gospider 介绍

gospider 是一个golang 爬虫神器，它内置了多种反爬虫模块,是golang 爬虫必备的工具包

安装

go get -u gitee.com/baixudong/gospider

gitee地址

https://gitee.com/baixudong/gospider

github地址

https://github.com/baixudong007/gospider

请求例子

package main

import (
	"context"
	"log"

	"gitee.com/baixudong/gospider/requests"
)

func main() {
	reqCli, err := requests.NewClient(context.TODO())
	if err != nil {
		log.Panic(err)
	}
	response, err := reqCli.Request(context.TODO(), "get", "http://myip.top")
	if err != nil {
		log.Panic(err)
	}
	log.Print(response.Text())
}