【go语言实现服务器接收http请求以及出现泄漏时的解决方案】

最新推荐文章于 2023-03-03 23:46:11 发布
最新推荐文章于 2023-03-03 23:46:11 发布
阅读量194 收藏 1
点赞数
文章标签： 数据库 操作系统 网络
原文链接：http://www.cnblogs.com/keke-xiaoxiami/p/7484228.html
版权

一、关于基础的程序的实现

 刚开始的时候程序是这样实现的：

// Hello
package main

import (
    "database/sql"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "strings"
    "time"

    _ "github.com/Go-SQL-Driver/MySQL"
)

func main() {
    fmt.Println(time.Now().Format("2006-01-02 15:04:05"))
    openHttpListen()
    //saveToDb()
}

func openHttpListen() {
    http.HandleFunc("/monkeytest", receiveClientRequest)
    fmt.Println("go server start running...")

    err := http.ListenAndServe("1.2.3.4:5555", nil)                //这里监听的地址要换成你自己的IP和端口；比如说你通过ifconfig查看自己的IP是15.34.67.23，则这里就要替换成这个IP，不能是其他的IP，要不然会报错
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

func receiveClientRequest(w http.ResponseWriter, r *http.Request) {
    r.ParseForm()
    fmt.Println("收到客户端请求: ", r.Form)
    fmt.Println("method:", r.Method)

    fmt.Println("path:", r.URL.Path)
    fmt.Println("scheme:", r.URL.Scheme)
    fmt.Println("url", r.URL)

    for k, v := range r.Form {
        fmt.Printf("----------\n")
        fmt.Println("key:", k)
        fmt.Println("value:", strings.Join(v, ", "))
    }
    var className string
    var pkgName string
    var pkgVer string
    var leakRoot string
    var leakDetail string
    var pkgbuildtime string
    if len(r.Form["className"]) > 0 {
        className = r.Form["className"][0]
    }
    if len(r.Form["pkgName"]) > 0 {
        pkgName = r.Form["pkgName"][0]
    }
    if len(r.Form["pkgVer"]) > 0 {
        pkgVer = r.Form["pkgVer"][0]
    }
    if len(r.Form["leakRoot"]) > 0 {
        leakRoot = r.Form["leakRoot"][0]
    }
    if len(r.Form["leakDetail"]) > 0 {
        leakDetail = r.Form["leakDetail"][0]
    }
    if len(r.Form["buildtime"]) > 0 {
        pkgbuildtime = r.Form["buildtime"][0]
    }

    body, _ := ioutil.ReadAll(r.Body)
    //r.Body.Close()
    body_str := string(body)
    fmt.Println("body_str:", body_str)

    fmt.Println("header", r.Header)
    //fmt.Println("Customerid", r.Header.Get("Customerid"))
    w.Header().Set("Access-Control-Allow-Origin", "origin")

    var result string
    if len(leakDetail) != 0 {
        result = saveToDb(className, pkgName, pkgVer, leakRoot, leakDetail, pkgbuildtime)
    } else {
        result = "error"
    }
    fmt.Fprintf(w, result)
}

func saveToDb(className string, pkgName string, pkgVer string, leakRoot string, leakDetail string, pkgbuildtime string) string {
    db, err := sql.Open("mysql", "username:passwd@tcp(2.3.4.5:3306)/myku?charset=utf8") //这里的数据库要换成自己的用户名:密码@数据库地址：端口/数据库名
    checkErr(err)
    if err != nil {
        return "error"
    }
    //插入数据
    stmt, err := db.Prepare("insert mytable SET className=?,pkgName=?,pkgVer=?,leakRoot=?,leakDetail=?,leakDate=?,pkgbuildtime=?")  //这里的mytable换成自己的table表名
    //stmt, err := db.Prepare("insert into mytable(className,pkgName,pkgVer,leakRoot,leakDetail,leakDate,pkg) values (?,?,?,?,?,?)")
    //rows, err := db.Query("select * from mytable")
    checkErr(err)
    if err != nil {
        return "error"
    }
    /*fmt.Println("res.", rows)
    for rows.Next() {
        var className string
        rows.Columns()
        err = rows.Scan(&className)
        checkErr(err)
        fmt.Println(className)
    }*/
    //checkErr(err)
    res, err := stmt.Exec(className, pkgName, pkgVer, leakRoot, leakDetail, time.Now().Format("2006-01-02 15:04:05"), pkgbuildtime)
    fmt.Println("res.", res)
    if err != nil {
        return "error"
    } else {
        return "success"
    }
}

func checkErr(err error) {
    if err != nil {
        fmt.Println("error.")
        //panic(err)
    }
}

后来因为提示存在too many open files的问题，就做了一版修改，改成了：

// Hello
package main

import (
    "database/sql"
    "fmt"
    "io/ioutil"
    "log"
    "net/http"
    "strings"
    "time"

    _ "github.com/Go-SQL-Driver/MySQL"
)

func main() {
    fmt.Println(time.Now().Format("2006-01-02 15:04:05"))
    openHttpListen()
    //saveToDb()
}

func openHttpListen() {
    srv := &http.Server{  
    Addr:         "1.2.3.4:5555",
    ReadTimeout: 5 * time.Second,
    WriteTimeout: 10 * time.Second,
    }
    
    http.HandleFunc("/monkeytest", receiveClientRequest)
    fmt.Println("go server start running...")

    err := srv.ListenAndServe()
    if err != nil {
        log.Fatal("ListenAndServe: ", err)
    }
}

func receiveClientRequest(w http.ResponseWriter, r *http.Request) {
    r.ParseForm()
    fmt.Println("收到客户端请求: ", r.Form)
    fmt.Println("method:", r.Method)

    fmt.Println("path:", r.URL.Path)
    fmt.Println("scheme:", r.URL.Scheme)
    fmt.Println("url", r.URL)

    for k, v := range r.Form {
        fmt.Printf("----------\n")
        fmt.Println("key:", k)
        fmt.Println("value:", strings.Join(v, ", "))
    }
    var className string
    var pkgName string
    var pkgVer string
    var leakRoot string
    var leakDetail string
    var pkgbuildtime string
    if len(r.Form["className"]) > 0 {
        className = r.Form["className"][0]
    }
    if len(r.Form["pkgName"]) > 0 {
        pkgName = r.Form["pkgName"][0]
    }
    if len(r.Form["pkgVer"]) > 0 {
        pkgVer = r.Form["pkgVer"][0]
    }
    if len(r.Form["leakRoot"]) > 0 {
        leakRoot = r.Form["leakRoot"][0]
    }
    if len(r.Form["leakDetail"]) > 0 {
        leakDetail = r.Form["leakDetail"][0]
    }
    if len(r.Form["buildtime"]) > 0 {
        pkgbuildtime = r.Form["buildtime"][0]
    }

        defer r.Body.Close()
    body, _ := ioutil.ReadAll(r.Body)
    //r.Body.Close()
    body_str := string(body)
    fmt.Println("body_str:", body_str)

    fmt.Println("header", r.Header)
    //fmt.Println("Customerid", r.Header.Get("Customerid"))
    w.Header().Set("Access-Control-Allow-Origin", "origin")

    var result string
    if len(leakDetail) != 0 {
        result = saveToDb(className, pkgName, pkgVer, leakRoot, leakDetail, pkgbuildtime)
    } else {
        result = "error"
    }
    fmt.Fprintf(w, result)
}

func saveToDb(className string, pkgName string, pkgVer string, leakRoot string, leakDetail string, pkgbuildtime string) string {
    db, err := sql.Open("mysql", "username:passwd@tcp(2.3.4.5:3306)/myku?charset=utf8")
        defer db.Close()

    checkErr(err)
    if err != nil {
        return "error"
    }
    //插入数据
    stmt, err := db.Prepare("insert mytable SET className=?,pkgName=?,pkgVer=?,leakRoot=?,leakDetail=?,leakDate=?,pkgbuildtime=?")
    //stmt, err := db.Prepare("insert into mytable (className,pkgName,pkgVer,leakRoot,leakDetail,leakDate,pkg) values (?,?,?,?,?,?)")
    //rows, err := db.Query("select * from mytable")
    checkErr(err)
    if err != nil {
        return "error"
    }
    /*fmt.Println("res.", rows)
    for rows.Next() {
        var className string
        rows.Columns()
        err = rows.Scan(&className)
        checkErr(err)
        fmt.Println(className)
    }*/
    //checkErr(err)
    res, err := stmt.Exec(className, pkgName, pkgVer, leakRoot, leakDetail, time.Now().Format("2006-01-02 15:04:05"), pkgbuildtime)
    fmt.Println("res.", res)
    if err != nil {
        return "error"
    } else {
        return "success"
    }
}

func checkErr(err error) {
    if err != nil {
        fmt.Println("error.")
        //panic(err)
    }
}

 

然后在linux下通过nohup go run Hello.go &之后，程序正式跑起来，（注意：服务器的IP一定是本地的IP地址才可以）就可以在浏览器里面输入：

http://1.2.3.4:5555/monkeytest，然后就能将请求提交到go的服务器端

二、关于go中出现的问题的解决（包括发现问题、解决问题的过程）

 

将一中的程序，在linux下运行之后，通过nohup go run Hello.go &运行之后，会将实时的信息全部打印到nohup.out中，查看这个文件，会出现这个提示：

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 5ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 10ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 20ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 40ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 80ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 160ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 320ms

2017/07/28 01:51:35 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 640ms

2017/07/28 01:51:36 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 1s

2017/07/28 01:51:37 http: Accept error: accept tcp 10.252.149.243:9090: accept4: too many open files; retrying in 1s

 

这种情况下就会导致该写入到数据库中的内容无法写入。

 

因为：在linux下一切都是文件，所有不管是nohup.out还是socket连接都是文件，所以这里就可以进行查找在当前pid下的文件数有几个了，可以通过下面2的（2）中的方式查看某个pid下的文件数及详情

 

经过查找之后，发现这种情况可以通过以下的方式先缓解，首先通过：

1、ulimit -n查看最大连接数，如果是1024的话，可以尝试将其修改为4096

 

2、这样无法根本上解决问题，继续查：

（1）打开文件太多，是否说明文件句柄出现了泄漏，或者是：db操作出现了泄漏，那么是否程序中没有关闭呢？

查看之后，确实没有关闭，因此增加：defer db.close()和defer f.close()的处理

 

这里defer的含义是：代表在return之前执行关闭，但是有弊端，尤其是跟带命名的返回参数一起使用时，具体是：https://tiancaiamao.gitbooks.io/go-internals/content/zh/03.4.html 文章中描述的这样：

函数返回的过程是这样的：先给返回值赋值，然后调用defer表达式，最后才是返回到调用函数中。

其实原因就是：return xxx并不是一条原子指令

 

但是因为close的操作中没有增加这个返回参数，所以影响不大可以这样用

 

（2）然后修改之后，重新启动程序，不断创造连接数据库及打开文件的处理操作：

通过下面的命令：

首先获取go的pid值：ps aux | grep go，例如得到的结果是：29927

然后再执行：ls -l /proc/29927/fd/ | wc -l  ，得到的结果就是：6，说明socket的数目没有增长

然后再执行：ls -l /proc/29927/fd/  ，得到的结果就是：当前进程打开的连接数的信息详情

 

备注：在（1）中未增加defer close()操作之前， socket的数目会随着http的请求和数据库的连接增多

 

后面会继续关注这里，查看问题是否完全解决了。

 

转载于:https://www.cnblogs.com/keke-xiaoxiami/p/7484228.html

使用 Go 语言实现高性能网络服务: 包括TCP连接管理、内存池、epoll、缓存设计、序列化等
AI天才研究院
08-07 1634
Go 是一门开源的编程语言，由 Google 开发并于 2009 年正式发布。静态强类型:在编译时已经把变量的数据类型确定下来，并进行严格类型检查；自动垃圾回收:不需要手动分配和释放内存，通过引用计数实现自动释放无用对象；接口:支持接口、多态特性，可以方便地实现依赖注入、适配器模式、代理模式等；goroutine:采用协程（Coroutine）机制，使得编写异步并发程序变得简单；cgo:可以调用 C/C++ 的库函数，通过 cgo 可以直接利用现有的第三方库；
解决 Go 语言并发问题
最新发布
禅与代码的艺术
08-20 1175
所有较为复杂的程序都会出现错误。当你意识到程序中存在一些异常情况时，启动调试会话通常不是你应该做的第一件事。本文介绍一些无须使用调试器即可进行故障排险的技术。，主要包括以下主题：解读堆栈跟踪信息、检测故障并修复和调试异常。
Go 中的 HTTP 资源泄漏之谜
Go中国
11-22 584
我喜欢排查泄露的问题。这是一个智力之谜，我总能在这个过程中学到新东西。这个谜就像你在电视上读到或看的一样：细节是猥琐的，从不令人沮丧，最后，我们总能得到一个很好的合乎逻辑的解释。这就是计算机的伟大之处：它们最终是可以预测的，所以我可以安全地扮演侦探角色，因为我知道我总是能得到我的罪犯。如果你讨厌推理小说或者只想学习参考，你可以跳到关键要点(剧透警告，咄？)。泄露 Dogfood在 Coder，我们...
Golang http请求忘记调用resp.Body.Close()而导致的协程泄漏问题（含面试常见协程泄漏相关测试题）
梦~'
03-03 1428
Golang http请求忘记调用resp.Body.Close()而导致的协程泄漏问题（含面试常见协程泄漏相关测试题）
[Golang] http.Post导致goroutine泄漏
weixin_30376323的博客
06-12 286
记录一个用http.Post的问题 if _, err := http.Post("http://127.0.0.1:8080", "", nil); nil != err { panic(err) }// 会导致goroutine泄漏 　　 if resp, err := http.Post("http://127.0.0.1:8080", "", nil); nil...
k8s排错---Accept error: accept unix /var/run/docker.sock: accept4: too many open files； retrying in 5m
CN_LiTianpeng的博客
07-06 1953
报错现象：docker打开的文件句柄过多导致docker异常临时解决：重启docker永久方案：修改内核参数四种办法： 报错现象：docker打开的文件句柄过多导致docker异常 从messages日志中获取到的信息 o old resource version: 188849596 (188851955) Jul 3 17:01:34 iZ2ze65tsjaqwt9pp6gjl7Z dockerd: http: Accept error: accept unix /var/run/docker..
gosurveil监控工具包：远程计算机活动的GO语言实现
总结以上知识点，gosurveil监视工具包是一个使用Go语言开发的远程计算机活动监控解决方案，采用了客户端/服务器架构以便用户能够远程监控计算机的活动，并将数据通过HTTP协议传输到服务器端进行存储。该工具包适合对...
Go语言并发安全代码审查：专家视角下的问题与解决方案分析
Go语言作为一种现代编程语言，其并发模型是其核心特性之一。在深入探讨并发安全之前，了解Go语言的并发基础是至关重要的。本章将带您快速浏览Go语言并发的基础知识，并对并发编程中可能遇到的安全问题进行概述。 ##...
Go语言工具实现RabbitMQ消息高效消费到CLI程序
6. 消费者工作原理：在传统的Web应用中，服务器在接收到HTTP请求时会调用脚本进行处理，然后返回响应。而通过rabbitmq-cli-consumer工具，PHP应用程序可以在有消息时被调用，类似于处理HTTP请求的方式，但针对的是...
程序 too many open files 问题排查及解决
J_Lee
02-12 3962
程序 too many open files 问题排查及解决
too many open files(打开的文件过多)解决方法
热门推荐
muzlei的博客
11-08 2万+
https://www.cnblogs.com/conanwang/p/5818441.html SU: failed to execute /bin/bash:系统中打开的文件过多 一、产生原因 too many open files(打开的文件过多)是Linux系统中常见的错误，从字面意思上看就是说程序打开的文件数过多，不过这里的files不单是文件的意思，也包括打开的通讯链接(比如sock...
Golang 服务之坑：too many open files
Shanks
01-05 6896
以下内容转载自https://pylist.com/t/1581940902 出现这个问题是因为服务的文件句柄超出系统限制。当Go服务程序出现这个问题，首先应该看系统设置，然后再看程序本身。 大量的accept4错误 http: Accept error: accept tcp [::]:8080: accept4: too many open files; retrying in 1s http: Accept error: accept tcp [::]:443: accept4: t...
Linux打开文件夹一直失败,Linux常见系统故障：“Too many open files”错误与解决方法...
weixin_42601702的博客
04-29 4001
原标题：Linux常见系统故障：“Too many open files”错误与解决方法1、问题现象这是一个基于的应用系统，在后台添加数据时提示无法添加，于是登录查看Tomcat日志，发现如下异常信息：java.io.IOException: Too many open files通过这个报错信息，基本判断是系统可用的文件描述符不够了，由于Tomcat服务是系统www用户启动的，于是以www用户登...
golang http使用踩过的坑与应对
baijiwei的博客
12-15 7334
golang对http进行了很好的封装， 使我们在开发基于http服务的时候， 十分的方便， 但是良好的封装， 很容易是的我们忽略掉它们底层的实现细节。 如下是我踩过的一些坑， 以及相应的解决方法。 调用http服务 正确的实践如下： resp, err := http.Get("http://example.com/") if err != nil { // han...
golang处理http response碰到的问题和需要注意的点
jeffrey11223的博客
05-25 1万+
在处理http response的时候，偶然发现，body读取之后想再次读取的时候，发现读不到任何东西。见下方代码：
go语言接收http请求
weixin_30856965的博客
07-02 1143
func sayHello(w http.ResponseWriter, r *http.Request) { r.ParseForm()//获取请求参数 fmt.Fprintf(w, "hello world")//返回前台页面 } func saystu(w http.ResponseWriter, r *http.Request) { r.Parse...
golang http 内存泄漏
lili861217的专栏
06-24 678
本以为会自动内存回收的golang，其实还是有内存泄漏的风险。比如http调用 resp, _ := http.Get(...) 这个 resp 必须执行一下resp.Body.Close() 才会释放内存。目前来看，所有涉及外部IO的操作都不能太信赖 golang的GC ...
Gondalf微服务：Go语言实现的用户管理及权限解决方案
Gondalf 的出现是为了解决开发者在构建微服务时重复面临的用户管理和身份验证问题，提供了一个标准化和高效率的解决方案。它的开源性质和社区支持使得这个项目具有很高的生命力和发展潜力。对于需要快速搭建具备基本...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值