日志中看到来自User Agent go-http-client / 1.1的大量请求（go-http-client 1.1）服务器爆了

最新推荐文章于 2024-11-06 01:57:36 发布
最新推荐文章于 2024-11-06 01:57:36 发布
阅读量3.1k 收藏
点赞数 3
分类专栏： centos nginx 文章标签： golang http 服务器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011067462/article/details/138330171
版权

在日志中看到来自User Agent go-http-client / 1.1的大量请求

The go-http-client/1.1 User Agent 是Google的Bot / Crawler
这不是真的。这可能是指Go库（根据您提到的来源，由Google开发，但是我找不到可靠的信息）。

之前写过“Go-http-client/1.1 是哪家的爬虫 这次终于知道了”这篇文章，大家可以去看看

即使它是由Google创建的，也不能说它是Google搜寻器，至少不是基于官方文档：

https://support.google.com/webmasters/answer/1061943 14
对于那些希望go-http-client在确保它不是Google搜寻器的同时阻止来自UA的请求的解决方案是创建如下防火墙规则：

(http.user_agent contains “go-http-client” and not cf.client.bot)
Cloudflare具有高级机制，该机制超越了用户代理字符串，并且可以正确执行验证，如另一本正式文档中所述：

https://support.google.com/webmasters/answer/80553 9
PS：我已经在我管理的多个站点上观察到了该UA（及其一些变体），并可以确认其行为与合法的Google搜寻器的行为不一致。

如果要阻止此UA，则可以配置用户代理阻止规则（仅完全匹配）或防火墙规则（完全/部分匹配）。

本地服务器：bt防火墙，用UA，（go-http-client）过滤就可解决。

Go 学习笔记（76）— Go 标准库 net/http 创建客户端（发送 GET、POST 请求）
wohu1104的专栏
03-22 2083
1. Get 请求 1.1 使用 net/http 包的快捷方法 GET package main import ( "fmt" "io/ioutil" "net/http" ) func main() { resp, err := http.Get("http://www.baidu.com") if err != nil { fmt.Println(err) } defer resp.Body.Close() body, err := ioutil.ReadAll(resp
go HTTP Client大量长连接保持(自定义client设置及源码简单分析)
热门推荐
kdpujie的专栏
06-13 2万+
一，问题起因        线上server to server的服务，出现大量的TIME_WAIT。用netstat发现，不断的有连接在建立，没有保持住连接。抓TCP包确认request和response中的keepalive都已经设置，但是每个TCP连接处理6次左右的http请求后，就被关闭。        就处理该问题的过程中，查看了一下http client的部分源码。 二，HTTP
Go中的HTTP请求之——HTTP1.1请求流程分析
新世界杂货铺
09-25 1055
http是目前应用最为广泛， 也是程序员接触最多的协议之一。今天笔者站在GoPher的角度对http1.1的请求流程进行全面的分析。希望读者读完此文后， 能够有以下几个收获: 1. 对http1.1的请求流程有一个大概的了解 2. 在平时的开发中能够更好地重用底层TCP连接 3. 对http1.1的线头阻塞能有一个更清楚的认识
Go语言：HTTP客户端请求设置用户浏览器版本User-Agent
pengpengzhou的博客
07-16 8927
http.Client默认的User-Agent是“Go-http-client/1.1”，在做页面抓取的时候容易被服务端拒绝，需要在请求前重新设置一个模拟的User-Agent。具体代码如下： package main import ( "fmt" "io/ioutil" "net/http" "time" ) func main() { client := &http.Client{ Timeout: 2 * time.Second, } req, _ := http
go http.Client
NewGirlFriend的博客
03-21 2010
Client是一个http客户端 1. 不赋值的话也可以使用，用的是默认传输方式 2. Client传输通常有内部状态（缓存TCP连接），所以Client应该被重用而不是按需创建，多线程的请求也是安全的 3. 。。。。不想翻译 了 NewRequest(method, url, body)构造请求 req.Header,Add(key, value) 加请求头 Client.Do(re...
Go语言的创建HTTP客户端
DXB2021的博客
01-26 1600
超文本传输协议（Hypertext Transfer Protocol，HTTP） 理解HTTP 要理解HTTP请求的结构，一种不错的方式是使用curl。输入命令行如下： curl -s -o /dev/null -v http://google.com 运行结果如下： * Trying 172.217.160.78:80... * Connected to google.com (172.217.160.78) port 80 (#0) > GET / HTTP/1.1 >
常用http工具的user-agent
juewuer的博客
08-10 821
request python-requests/2.18.4 curl curl/7.19.7 (x86_64-redhat-linux-gnu) libcurl/7.19.7 NSS/3.14.0.0 zlib/1.2.3 libidn/1.18 libssh2/1.4.2 wrk ab IE Mircosoft EDGE chrome
go-httpclient：用于golang的高级HTTP客户端
02-03
去http客户端 用于golang的高级HTTP客户端。 产品特点 可链接的API 直接上传文件 超时 HTTP代理 曲奇饼 邮编 重定向政策 取消（有上下文） 安装 go get github.com/ddliu/go-httpclient 快速开始 package main import ( "github.com/ddliu/go-httpclient" ) func main () { httpclient . Defaults (httpclient. Map { httpclient . OPT_USERAGENT : "my awsome httpclient" , "Accept-Language" : "en-us" , }) res , err := httpclient . Get ( "http://google.com/search" , map [ string ] string { "q" : "news" , }) println ( res . Stat
Go HTTP客户端和服务端
Fengfgg的博客
04-19 401
HTTP协议 超文本传输协议（HTTP，HyperText Transfer Protocol)是互联网上应用最为广泛的一种网络传输协议，所有的WWW文件都必须遵守这个标准。设计HTTP最初的目的是为了提供一种发布和接收HTML页面的方法。 HTTP 客户端 使用Go语言编写一个简单的发送HTTP请求的Client端，代码如下： // http client demo func main() { conn, err := net.Dial("tcp", "www.baidu.com:80")
GO 发起HTTP请求调用接口
i小明同学的博客
12-15 1万+
Go发起GET请求 基本的GET请求 //基本的GET请求 package main import ( "fmt" "io/ioutil" "net/http" ) func main() { resp, err := http.Get("http://www.hao123.com") if err != nil { fmt.Println(err) return } defer resp.Body.Close
golang入门--一个简单的http client
a172742451的专栏
03-17 1384
package main import ( "fmt" "io/ioutil" "log" "net/http" "net/url" ) func main() { //resp, _ := doGet("http://www.baidu.com") //resp, _ := doPost("http://www.baidu.com", "application/json;ch
【Go】——Golang处理HTTP/HTTPS请求
汤庆
05-07 7044
一、前言 不管你使用什么语言，HTTP协议是你绕不开的点。 二、HTTP知识点补充 HTTP定义了与服务器交互的不同方法，最基本的方法有4种，分别是GET，POST，PUT，DELETE。URL全称是资源描述符。我们可以这样认为：一个URL地址，它用于描述一个网络上的资源，而HTTP中的GET，POST，PUT，DELETE就对应着对这个资源的查，改，增，删4个操作。到这里，大家应该有个大概的了解了，GET一般用于获取/查询资源信息，而POST一般用于更新资源信息。那么，...
Go语言-基本的http请求操作
weixin_30445169的博客
08-21 265
Go发起GET请求 基本的GET请求 //基本的GET请求 package main import ( "fmt" "io/ioutil" "net/http" ) func main() { resp, err := http.Get("http://www.hao123.com") if err != nil { fmt.P...
golang http库的使用 并发 get post请求处理
weixin_44846765的博客
06-21 2101
golang http库的使用 并发 get post请求处理
使用frp让内网能够被外网访问
Strangewu的博客
02-28 2019
使用frp进行内网穿透 frp是一个反向代理应用 点击下载frp 查看系统版本 uname -a Linux wq 3.10.0-514.26.2.el7.x86_64 #1 SMP Tue Jul 4 15:04:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux Linux wq2 3.10.0-1062.el7.x86_64 #1 SMP Wed Aug 7 18:08:02 UTC 2019 x86_64 x86_64 x86_64 GNU/Linux
从监控异常发现网络安全
dzqxwzoe的博客
01-31 391
最近在前端异常监控系统中，发现一些异常信息，从中做了一些分析，得到一些体会，因此作文。
高效便捷的Go HTTP客户端库：go-httpclient
gitblog_00027的博客
04-10 499
高效便捷的Go HTTP客户端库：go-httpclient go-httpclient a Go HTTP client with timeouts 项目地址: https://gitcode.com/gh_mirrors/go/go-httpclient ...
Go-HttpClient：打造高效的Go语言HTTP客户端
gitblog_00225的博客
11-06 606
Go-HttpClient：打造高效的Go语言HTTP客户端 go-httpclient a Go HTTP client with timeouts 项目地址: https://gitcode.com/gh_mirrors/go...
User-Agent: Go-http-client/1.1
最新发布
03-18
<think>好的，我现在要帮用户了解“User-Agent: Go-http-client/1.1”这个字段。首先，用户可能是在查看HTTP请求头的时候遇到了这个字符串，想知道它的含义和作用。 首先，我应该回顾一下User-Agent的基本概念。User-Agent是HTTP请求头的一部分，用来标识客户端软件的类型、版本、操作系统等信息。服务器可以根据这个信息来优化响应内容，比如返回适合特定浏览器的页面版本，或者进行访问统计和日志记录。 接下来，用户提供的例子是“Go-http-client/1.1”。这里的关键点在于“Go-http-client”这部分，这表明客户端是用Go语言编写的HTTP客户端库。版本号“1.1”可能指的是该库的版本，或者是遵循HTTP/1.1协议。需要确认一下Go标准库中http客户端的默认User-Agent是什么。查阅资料的话，Go的net/http包在发送请求时，默认的User-Agent确实是“Go-http-client/1.1”，其中1.1可能代表HTTP协议的版本，而不是库的版本号。 然后，用户可能想知道这个User-Agent的应用场景。比如，当开发者使用Go语言编写爬虫或者API客户端时，服务器会看到这个User-Agent。有些网站可能会根据User-Agent来限制或允许访问，比如阻止爬虫。这时候，开发者可能需要修改User-Agent来模拟浏览器，避免被屏蔽。 此外，需要注意这个默认的User-Agent是否会被某些服务器拒绝。例如，一些网站的安全策略可能会阻止非浏览器的User-Agent，导致请求失败。这时候，用户可能需要自定义User-Agent，比如设置为常见的浏览器标识，像Mozilla/5.0等。 最后，可能需要提供如何修改Go HTTP客户端的User-Agent的示例代码，帮助用户实际操作。比如在Go中，可以通过设置请求头的User-Agent字段来自定义，这需要构造请求时显式添加Header。 总结回答的结构应该是：解释User-Agent的作用，分析“Go-http-client/1.1”的具体含义，讨论应用场景和注意事项，最后给出修改方法。需要确保用中文清晰表达，分点说明，同时注意使用正确的LaTeX格式，不过在这个问题中可能涉及数学公式较少，但如果有变量或代码，仍需遵循格式要求。</think>### 分步解析：`User-Agent: Go-http-client/1.1` #### 1. **基本定义** - **User-Agent** 是 HTTP 协议请求头的一个字段，用于标识客户端身份（如浏览器、爬虫、API客户端等）。 - 格式通常为：`软件名称/版本 附加信息`，例如： - 浏览器：`Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36` - 编程语言客户端：`Go-http-client/1.1`、`Python-urllib/3.10` #### 2. **`Go-http-client/1.1` 的含义** - **标识来源**：表示该 HTTP 请求由 Go 语言的官方标准库 `net/http` 发起。 - **版本信息**： - `1.1` 表示客户端兼容 HTTP/1.1 协议（与 Go 库版本无关）。 - Go 的默认 User-Agent 自 2012 年起沿用此格式，未随语言版本更新而改变。 #### 3. **典型应用场景** - **API 调用**：用 Go 编写的服务通过 HTTP 与其他服务通信。 - **爬虫/自动化工具**：简单网络请求无需伪装浏览器身份时，可能直接使用默认 User-Agent。 - **微服务通信**：服务间内部调用通常无需复杂标识。 #### 4. **注意事项** - **可能被拦截**：部分网站会屏蔽非浏览器 User-Agent，导致请求返回 `403 Forbidden`。 - **自定义需求**： ```go req, _ := http.NewRequest("GET", "https://example.com", nil) req.Header.Set("User-Agent", "Mozilla/5.0 (自定义标识)") client.Do(req) ``` - **协议兼容性**：若服务端仅支持 HTTP/2，需确认 Go 客户端配置（默认支持 HTTP/2）。 #### 5. **与其他语言的对比** | 语言 | 默认 User-Agent | |--------|-----------------------------| | Go | `Go-http-client/1.1` | | Python | `Python-urllib/3.10` | | Java | `Java/17.0.1` | | cURL | `curl/7.79.1` | #### 6. **扩展知识** - **服务器用途**：通过 User-Agent 实现： - 内容适配（如移动端/PC 页面） - 安全策略（屏蔽恶意爬虫） - 流量统计（区分客户端类型） 如需进一步分析特定场景下的行为，可提供更多上下文（如 HTTP 响应状态码）。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

net1193379199

您的鼓励是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值