基于golang实现的376.1规约采集前置程序

最新推荐文章于 2024-07-26 10:06:23 发布
最新推荐文章于 2024-07-26 10:06:23 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： golang 376.1 物联网采集 文章标签： golang 376.1 物联网采集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jonenine/article/details/90730343
版权
golang 同时被 3 个专栏收录
2 篇文章 0 订阅
订阅专栏
物联网采集
2 篇文章 0 订阅
订阅专栏
376.1
1 篇文章 0 订阅
订阅专栏

go3761

       https://github.com/jonenine/go3761
       实现了稳定而高效的网络通讯层和灵活的规约配置层，可作为物联网行业部署在云端的采集前置程序的原型。

    网络层架构

       网络层分为io goroutine和worker goroutine，有点类似于netty的网络模型。当accept连接之后就启动一个goroutine来接收数据，一旦接收到数据，goroutine退出，同时将handler连同数据（事件）通过channel发给worker进行处理，在一个固定数量的worker group（池）内进行解帧和其他业务处理。处理之后再启动一个新的goroutine来接收数据。

       以前采取io goroutine同时接收数据和处理数据的做法，虽然性能也不错。发现一段时间后golang的后台线程疯狂增加，而采用这种类似于reactor的模式不但提高了性能，也克服了后台线程飞涨的问题。

    性能测试

       性能测试结果还是不错的:

       在windows上似乎很难突破c10k后性能急剧下降的限制，并发数超过1万是没问题（可以并发连接到到很大），但并发超过1万后性能急剧下降，比如并发1万1千和并发一万的性能差距相当大。应该是操作系统的问题引起的，我用的server2008R2 enterprise。

       在linux上性能就好了很多，以下是测试数据

       硬件配置

       联想低配服务器

       8 核心Intel® Xeon® CPU E3-1230 v6 @ 3.50GHz

       内存32G

       软件环境

       Redhat6.8

       golang1.12.5

       在单节点上轻松实现c50k,

       5万客户端不停发送测试报文，服务端每秒40万次解帧,

       从proc/xxxx/status看，线程数19个，内存占用(vmRss)保持在420M左右

       资源控制的相当好，程序也很稳定。

       因为测试客户端和server在同一台机器上，cpu已经基本压满。单台服务器的测试客户端数量（端口数）也不可能突破6万，条件所限没有继续测试下去。不过，就测试程序的轻松表现来看。在生产环境下应该可以轻松实现c100k。

       本程序只是实现了376.1规约的解帧，实现了网路层框架而已。而实际的采集程序业务要复杂的多。本程序可以作为golang前置机的原型程序。相信在这个原型基础上可以作出高性能的成熟稳定的golang前置采集程序。

    关键数据类型

       ByteBuf

       在按照某种规约或约定解析tcp的字节流的时候，往往会出现错误的模式匹配。比如你规定了业务帧的帧头为某些按顺序出现的byte常量，但这个常量组合也极有可能出现在非帧头的部分。当发现匹配失败了之后，通常需要向前回溯。

       而java netty的ByteBuf就拥有markReaderIndex，resetReaderIndex方法，可以在解析的时候做标记，发现匹配错误之后可以回到标记的位置。

       ItemConfig和Frame3761Config

       ItemConfig是一种通用的帧结构解析配置方式。将规约帧结构的每一个数据段都用ItemConfig来进行配置，每个ItemConfig定义一个帧结构段（其实就是各种数据域，如长度域、控制域）的长度，验证，输出，是否计算校验和等几个部分。Frame3761Config数组再将所有的帧结构段组合起来成为完整的帧结构。

       解析方法ReadFrame3761，采取非常谨慎的容错策略，当解析到某个规约项配置的validate方法失败后，程序会回溯到当前认为的帧头的下一个字节去重新匹配帧头。这样可以从数据流中更加有效的识别帧结构。

       解析程序可以非常轻松的移植到其他规约上去。每一帧结构段的配置都可以单独进行测试和调试。在可维护性和可移植性上远胜于原来将解帧的工作集中到一个方法或一个类中的写法，在性能上也没有明显的下降。

       解析方法ReadFrame3761并非和376规约耦合，可以不用修改的移植到其他规约的解析程序中，需要修改的是规约配置部分。待golang将来支持泛型之后，程序的可读性和扩展性还会得到很大改善。

    类图

在这里插入图片描述
    时序图

在这里插入图片描述

jonenine
关注
  • 0
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
由浅入深聊聊Golang的sync.Map
咖啡色的羊驼
07-21 1万+
前言 今天在技术群中有小伙伴讨论并发安全的东西，其实之前就有写过map相关文章：由浅入深聊聊Golang的map。但是没有详细说明sync.Map是怎么一回事。 回想了一下，竟然脑中只剩下“两个map、一个只读一个读写，xxxxx”等，关键词。有印象能扯，但是有点乱，还是写一遍简单记录一下吧。 1.为什么需要sync.Map？ 2.sync.Map如何使用？ 3.理一理sync.Map源码实现？ ...
go-socket.io:golang实现socket.io服务器
05-22
## socket.io用于Golang的库 分支master分支与socket.io 0.9.x兼容。 对于最新版本，请检查分支1.0。 从文档派生： : ## Demo 服务器： //example/server/app.go package main import ( "runtime" //"io/...
376.1协议解析源代码
01-02
376.1 协议解析 前置机 源程序 全 保真， public struct FrameInfo { //是发送还是接收帧 public bool IsSend; //帧头 68 public const string FrameFirst = "68"; //帧头 68 public const string FrameSecond = "68"; //帧长度 public string L1; //控制域内容 (控制域C) public string DIR;//传输方向位 D7 -->DIR=0:表示此帧报文是由主站发出的下行报文 public string PRM;//启动标志位 D6 -->PRM=1:表示此帧报文来自启动站；PRM=0:表示此帧报文来自从动站。 public string FCB;//帧计数位 D5(上行为ACD) -->FCV=1时，FCB表示每个站连续的发送/确认或者请求/响应服务的变化位。复位命令中的FCB=0 public string FCV;//帧计数有效位 D4 public string CID;//控制域 D3～D0 功能码PRM=1:功能码11【请求∕响应帧，请求2级数据】，功能码10【请求∕响应帧，请求1级数据】 //地址域内容 public string A1;//行政区划码 public string A2;//终端地址 public string MSA;//主站地址 public string ArrFlag;//主站地址和终端组地址标志 //标记时候为组地址 （1=组地址 0=单地址）
Golang 中‘...‘的用法
小男孩tom的博客
07-25 2910
golang 中的 ... 的用法
golang：io.copy基本使用方法
zzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzzz
10-05 3655
先看一段代码: http.Get()获取数据并写入文件. 思路是将body数据全部读入内存,然后再写到目的文件中. package main import ( "fmt" "io/ioutil" "net/http" ) func main() { url := "https://www.baidu.com/" resp, err := http.Get(url) if err != nil { fmt.Printf("Http.Get(url) err: %v.\n", err) .
Golang的strings.Builder
仅做个人笔记
03-21 5295
转自：https://liudanking.com/performance/golang-strings-builder-%E5%8E%9F%E7%90%86%E8%A7%A3%E6%9E%90/ 仅做个人备份，浏览请看原文 目录 原始的字符串拼接 在 Golang 1.10 以前，使用bytes.Buffer来优化 ####使用 strings.Builder 进行字符串拼接 ####strings.Builder 原理解析 就此止步？ 原始的字符串拼接 package ...
golang vscode launch.json配置
热门推荐
Keep It Simple, Stupid
01-13 1万+
每次调试运行都要先打开main.go然后在菜单里点击Run->Start Debugging或者F5比较麻烦，主要是每次都要定位了main.go文件，这样当我编辑完其他文件后，都要切换一下才能运行。 下面增加一下Launch.json配置就可以直接点击左侧的debug按钮运行了，在Launch菜单下的Add Configuration，内容如下： { // Use IntelliSense to learn about possible attributes. // Hover to
golang 中 json.Marshal 你不知道的转换规则
feiyan的博客
11-06 7897
golang json.marshal 避坑指南
Golang 解决 golang.org/x/ 下包下载不下来的问题 GOPROXY
fareast_mzh的博客
02-27 5216
介绍：fleet 绑定了systemd 和etcd 到一个分布式init 系统，可以认为是systemd 的扩展，但是并不是机器级别的，而是集群级别的.，然后作者就想到了当初做PHP的时候，也有类似的项目，觉得golang也可以实现一个类似的书籍，暂且把书名定为《Go实战开发》.介绍：Go语言作为一个现代化的编程语言以及支持垃圾内存的自动回收特性(GC). 这篇文章主要介的是非内存资源的自动回收技术.介绍：Golang官方开源项目wiki主页,内容丰富.是学习golang的重要参考，文中还推荐了。
如何解决Golang获取google.golang.org/protobuf包报错的问题
专注数据库、大数据领域干货分享，用严谨的数据技术广交天下朋友。
09-24 3345
今天在重新运行之前的老项目时，...
基于Golang实现的加权pagerank算法实现.zip
05-24
总的来说，基于Golang的加权PageRank算法实现可以提供一个高效且可扩展的解决方案，用于处理互联网上的链接数据，评估网页的相对重要性。通过合理的设计和优化，我们可以构建一个能够应对大规模数据的PageRank系统。
基于Golang协程实现流量统计系统视频.zip
03-01
目录网盘文件永久链接 project.zip 第l章课程介绍.a 第2章并发栏型Tan 第3章Go的协程rar 第4章示例环境搭建ram 第5章Go批里生成日志ar 第6章统计系统框架构成.rar 第7章统计统之口志费.rar 第8章统计系统之批星解析a...
golang中文手册_golang中文手册_goapiCHM_golang中文手册.chm_
10-02
Go语言，又称Golang，是由Google开发的一种静态类型、编译型、并发型且具有垃圾回收功能的编程语言。它设计的目标是提高开发者的生产效率，同时保持系统级编程的性能。Go语言的设计受到了C、 Pascal、 Miranda和...
磁力链接-基于Golang实现磁力链接搜索器.zip
04-05
基于Golang实现磁力链接搜索器，首先需要理解磁力链接的结构。磁力链接通常以"magnet:"为前缀，后面跟着的是32位的十六进制表示的InfoHash，它是对BT信息块（包括文件名、文件大小、参与的用户等）进行SHA-1哈希计算...
【Golang】exec.Command 命令的使用(执行及获取结果)
比嗨皮兔
06-09 5380
// 5秒超时 ctx, cancelFunc := context.WithTimeout(context.Background(), time.Duration(5)*time.Second) command := exec.CommandContext(ctx, cmd[0], cmd[1:]...) closer, err := command.StdoutPipe() defer func() { cancelFunc() _ = closer.Close() _ = comm
golang 接口
m0_70982551的博客
07-24 902
接口定义了一组方法，这些方法没有具体的实现。接口类型的变量可以存储任何实现了这些方法的类型的值。// 更多方法...在Go语言中，接口值是指存储了实现某个接口的具体类型值的变量。接口值由两部分组成：1.动态类型：这是接口值当前存储的实际类型。2.动态值：这是实际存储的值，该值必须实现了接口中定义的所有方法。
Golang | Leetcode Golang题解之第282题给表达式添加运算符
weixin_66442839的博客
07-24 395
Golang | Leetcode Golang题解之第282题给表达式添加运算符
【VSCode实战】Golang无法跳转问题竟是如此简单
最新发布
weixin_42206314的博客
07-26 709
workspace是golang1.18版本引入的新概念，就是VSCode打开的工作目录中，若是有多个mod文件，它会不知道使用哪一个，也就无法定位。但工作目录中，若是只有一个项目，那么它自然可以找到，也就可以正常“转到定义”。，开头说到了在VSCode中Golang无法跳转的问题，但文章的最后也没给出解决方案，只解决了安装Go插件的依赖问题。2.在已安装的扩展里面，找到Go扩展，点击右下角的齿轮标记，选择扩展设置，也会打开1的界面。无法跳转的问题，其实还是很简单的，只是被网上各种冗余信息误导了。
golang实现802.1x认证功能
05-18
实现802.1x认证功能的最常用的方式是通过EAP协议（Extensible Authentication Protocol）进行认证。以下是一个简单的golang代码示例，用于实现基于EAP的802.1x认证功能。 ```go package main import ( "crypto/tls" "fmt" "net" "bytes" "encoding/binary" ) const ( EAPCodeRequest = 1 EAPCodeResponse = 2 EAPCodeSuccess = 3 EAPCodeFailure = 4 ) const ( EAPTypeIdentity = 1 EAPTypeMD5Challenge = 4 ) func main() { // 连接认证服务器 conn, err := tls.Dial("tcp", "auth-server:1812", nil) if err != nil { fmt.Println(err) return } defer conn.Close() // 生成EAP Request Identity包 reqIdPacket := generateEapPacket(EAPTypeIdentity, EAPCodeRequest, []byte{}) conn.Write(reqIdPacket) // 接收EAP Response Identity包 resIdPacket := make([]byte, 1024) len, err := conn.Read(resIdPacket) if err != nil { fmt.Println(err) return } // 解析EAP Response Identity包 resIdType := binary.BigEndian.Uint16(resIdPacket[18:20]) resIdData := resIdPacket[20:len] if resIdType != EAPTypeIdentity || len <= 20 { fmt.Println("Invalid EAP Response Identity packet") return } // 发送EAP Request MD5-Challenge包 reqMd5Packet := generateEapPacket(EAPTypeMD5Challenge, EAPCodeRequest, resIdData) conn.Write(reqMd5Packet) // 接收EAP Response MD5-Challenge包 resMd5Packet := make([]byte, 1024) len, err = conn.Read(resMd5Packet) if err != nil { fmt.Println(err) return } // 解析EAP Response MD5-Challenge包 resMd5Type := binary.BigEndian.Uint16(resMd5Packet[18:20]) resMd5Data := resMd5Packet[20:len] if resMd5Type != EAPTypeMD5Challenge || len <= 20 { fmt.Println("Invalid EAP Response MD5-Challenge packet") return } // 认证成功 successPacket := generateEapPacket(0, EAPCodeSuccess, []byte{}) conn.Write(successPacket) fmt.Println("Authentication succeeded") } func generateEapPacket(eapType uint8, eapCode uint8, eapData []byte) []byte { buf := new(bytes.Buffer) binary.Write(buf, binary.BigEndian, uint8(0)) // EAP Version binary.Write(buf, binary.BigEndian, eapCode) // EAP Code binary.Write(buf, binary.BigEndian, uint16(5+len(eapData))) // EAP Packet Length binary.Write(buf, binary.BigEndian, uint8(eapType)) // EAP Type binary.Write(buf, binary.BigEndian, uint8(0)) // EAP Identifier binary.Write(buf, binary.BigEndian, uint16(len(eapData))) // EAP Data Length binary.Write(buf, binary.BigEndian, eapData) // EAP Data return buf.Bytes() } ``` 以上代码连接到认证服务器，并使用EAP Identity和EAP MD5-Challenge协议进行认证。如果认证成功，将发送EAP Success包，如果认证失败，将发送EAP Failure包。 需要注意的是，以上代码只是一个简单的示例，实际的802.1x认证通常比这复杂得多。在实际应用中，您需要根据您的网络环境和认证服务器的要求进行相应的调整和修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值