gospider 介绍
gospider 是一个golang 爬虫神器,它内置了多种反爬虫模块,是golang 爬虫必备的工具包
安装
go get -u gitee.com/baixudong/gospider
gitee地址
https://gitee.com/baixudong/gospider
github地址
https://github.com/baixudong007/gospider
ja3介绍:
python 缺陷:
python目前只能改Ciphers里面的算法套件,来生成非默认的ja3指纹,然后可以骗过检测不是太高的反爬机制。但是其他的Extensions,EllipticCurves,EllipticCurvePointFormats是没法改的,原因是 python跟openssl没有很直接的联系,python发https请求最后还是借助openssl库暴露出来的方法,也就是的ssl_.py里的方法create_urllib3_context,因为openssl库对外提供的方法或者接口是没办法这么高度自定义的,Ciphers部分也最多能改改算法,都不能给个自己定义的算法进去的,所以requests,httpx,aiohttp都不行,因为这三个库底层都借助了openssl库发请求。
gospider 全局设置ja3 指纹:(ja3指纹默认是最新chrome 指纹)
package main
import (
"context"
"log"
"gitee.com/baixudong/gospider/requests"
)
func main() {
reqCli, err := requests.NewClient(context.TODO())
if err != nil {
log.Panic(err)
}
reqCli.Ja3 = true //启动ja3伪装
response, err := reqCli.Request(context.TODO(), "get", "https://tools.scrapfly.io/api/fp/ja3?extended=1")
if err != nil {
log.Panic(err)
}
log.Print(response.Text())
}
gospider 局部设置ja3 指纹:(ja3指纹默认是最新chrome 指纹)
package main
import (
"context"
"log"
"gitee.com/baixudong/gospider/requests"
)
func main() {
reqCli, err := requests.NewClient(context.TODO())
if err != nil {
log.Panic(err)
}
response, err := reqCli.Request(context.TODO(), "get", "https://tools.scrapfly.io/api/fp/ja3?extended=1", requests.RequestOption{Ja3: true})//启动ja3伪装
if err != nil {
log.Panic(err)
}
log.Print(response.Text())
}