gathertool
Man-Li
漫鸽网络
展开
-
《gathertool开发使用文档》
Date : 2023-03-28Author : ManGeMail : 2912882908@qq.comGithub : https://github.com/mangenotwork/gathertoolgo get github.com/mangenotwork/gathertoolgathertool是一个高度封装工具库,包含了http/s的请求,Mysql数据库方法,数据类型处理方法,数据提取方法,websocket相关方法,TCP|UDP相关方法,NoSql相关方法,开发常用方法等; 可原创 2023-03-31 14:57:19 · 494 阅读 · 0 评论 -
实现端口扫描
创建tcp客户端然后与目标地址的每个端口建立连接,如果能连接成功说明目标地址此端口已经被打开。结果原创 2022-12-06 16:00:16 · 402 阅读 · 0 评论 -
golang实现html获取指定位置的Dom
核心使用 “golang.org/x/net/html” 的html.Node来实现,先用html.Parse方将html解析为数结构,然后迭代匹配节点;代码在 https://github.com/mangenotwork/gathertool内置了很多实用的实现原创 2022-12-06 15:50:13 · 535 阅读 · 0 评论 -
golang 固定顺序map
golang的map是无序的,但有些业务场景需要有序的map来实现需求用一个切片来记录key的顺序测试总结我的开源库 https://github.com/mangenotwork/gathertool 有大量的业务实现方案,感兴趣的可以去看看,可以与我沟通和交流学习原创 2022-12-06 15:42:16 · 870 阅读 · 0 评论 -
基于golang的Json选择器
json 例子:如上面的json,要选择出future的第一个的date的值,输出: 2022/07/29 10:23:08 2021-10-25 < nil >输出原创 2022-12-06 15:27:35 · 427 阅读 · 0 评论 -
golang爬虫练习-抓取行业信息分类
gathertoolgathertool是golang脚本化开发库,目的是提高对应场景程序开发的效率;轻量级爬虫库,接口测试&压力测试库,DB操作库等。地址:下载: go get github.com/mangenotwork/gathertool库文档:使用gathertool能很规范化抓取程序的编写,提供配置,请求,提取,保存;特别是提取,使用 gt.GetPointClassHTML 快速定位到数据Dom范围,再使用gt.RegHtmlATxt获取到具体数据;原创 2022-11-22 09:57:47 · 340 阅读 · 0 评论 -
golang爬虫抓取期货数据
golang爬虫抓取期货数据原创 2022-07-08 10:47:32 · 669 阅读 · 0 评论 -
golang爬虫抓取商品报价
golang爬虫抓取商品报价数据原创 2022-07-08 10:04:50 · 365 阅读 · 0 评论 -
使用ETCD实现注册服务
利用ETCD实现注册服务转载 2022-06-29 11:40:37 · 890 阅读 · 0 评论 -
golang爬虫框架 gathertool开发文档
gathertool是基于golang的爬虫框架和接口&压力测试框架,目的是为了提高对应场景的开发效率。原创 2022-06-02 11:17:05 · 438 阅读 · 0 评论 -
使用golang快速搭建socket5代理
快速搭建socket5代理原创 2022-06-02 11:12:13 · 1150 阅读 · 0 评论 -
golang实现http&https代理服务器
golang实现http&https代理服务器效果图:实现package mainimport ( gt "github.com/mangenotwork/gathertool" "log")func main(){ ipt := >.Intercept{ Ip : "0.0.0.0:8111", HttpPackageFunc: func(pack *gt.HttpPackage){ // 查看 ContentType log.Println原创 2022-05-26 15:53:11 · 1322 阅读 · 0 评论 -
golang微博爬虫-无登录获取cookie抓取微博
使用爬虫框架 gathertool框架地址: https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫,接口测试,压力测试框架, 提高开发对应场景的golang程序。框架文档: https://380949.baklib-free.com/获取cookie步骤请求https://weibo.com F12 Network查看到由 https原创 2021-05-13 20:29:48 · 1590 阅读 · 0 评论 -
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息
基于golang爬虫框架gathertool快速编写并发抓取国内ip信息gathertool框架地址: https://github.com/mangenotwork/gathertool框架下载: go get github.com/mangenotwork/gathertool介绍: 轻量级爬虫,接口测试,压力测试框架, 提高开发对应场景的golang程序。框架文档: https://github.com/mangenotwork/gathertool/blob/main/READ原创 2021-04-26 20:06:07 · 2023 阅读 · 5 评论 -
golang爬虫 高并发抓取阳光高考招生简章
golang爬虫高并发抓取阳光高考招生简章链接地址一级页面 学校列表https://gaokao.chsi.com.cn/zsgs/zhangcheng/listVerifedZszc–method-index,lb-1,start-0.dhtml二级页 每年的https://gaokao.chsi.com.cn/zsgs/zhangcheng/listZszc–schId-5.dhtml三级页 招生章程内容https://gaokao.chsi.com.cn/zsgs/zhangc原创 2021-04-28 21:16:05 · 1123 阅读 · 1 评论