Go语言实现 ssh & scp

最新推荐文章于 2024-04-29 11:45:13 发布
最新推荐文章于 2024-04-29 11:45:13 发布
阅读量1.3k 收藏 12
点赞数 3
分类专栏： Go 文章标签： golang 后端 ssh scp
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012948302/article/details/124094961
版权

你必须非常努力，才能看起来毫不费力！

微信搜索公众号[ 漫漫Coding路 ]，一起From Zero To Hero !

前言

最近遇到一个临时需求，需要将客户环境中一个服务每天的日志进行一系列复杂处理，并生成数据报表。由于数据处理逻辑复杂，且需要存入数据库，在客户环境使用 shell 脚本无法处理，因此就需要将日志先拷贝到本地，再进行处理；同时为了避免每天人工拷贝日志，需要实现自动化，整条链路自动执行，无需人工干预。平时使用 Go 语言较多，由此就引出了 Go 语言 ssh 连接远程客户服务器，并利用 scp 将数据拷贝下来的一系列操作。

说明：本文中的示例，均是基于Go1.17 64位机器

连接远程服务器并执行命令（ssh）

如下给出了使用 用户名+密码 的方式连接远程服务器并执行了 /usr/bin/whoami 命令的示例，步骤如下：

  1. 生成 ClientConfig：想要连接远程服务器，必须要至少指定一种实现了 Auth 的 AuthMethod，我们这里使用密码的方式；同时需要提供 一种用于安全校验远程服务端key的方法 HostKeyCallback，我们这里使用的是不校验的方式 ssh.InsecureIgnoreHostKey()，生产情况下建议使用 ssh.FixedHostKey(key PublicKey)；
  2. 调用 Dial ：Dial 方法与远程服务器建立连接，并返回一个 client ；
  3. NewSession：NewSession方法开启一个会话，在一个会话内可以通过 Run 方法执行一个命令。
import (
	"bytes"
	"fmt"
	"log"
  
  "golang.org/x/crypto/ssh"
)

func main() {

	var (
		username = "your username"
		password = "your password"
		addr     = "ip:22"
	)
	
	config := &ssh.ClientConfig{
		User: username,
		Auth: []ssh.AuthMethod{
			ssh.Password(password),
		},
		HostKeyCallback: ssh.InsecureIgnoreHostKey(),
	}
	client, err := ssh.Dial("tcp", addr, config)
	if err != nil {
		log.Fatal("Failed to dial: ", err)
	}
	defer client.Close()

	// 开启一个session，用于执行一个命令
	session, err := client.NewSession()
	if err != nil {
		log.Fatal("Failed to create session: ", err)
	}
	defer session.Close()

	// 执行命令，并将执行的结果写到 b 中
	var b bytes.Buffer
	session.Stdout = &b
  
  // 也可以使用 session.CombinedOutput() 整合输出
	if err := session.Run("/usr/bin/whoami"); err != nil {
		log.Fatal("Failed to run: " + err.Error())
	}
	fmt.Println(b.String())  // root
}

上面的例子，我们在 Run 方法里面传入了一个命令，然后远程服务器会将执行结果返回给我们，如果是复杂操作，通过传入命令的方式就比较麻烦。比如上面提到的需求，需要我从 k8s 容器中拷贝出服务每天的日志，拆解后的步骤为：获取服务的多个 k8s pod 名称，根据当前日期，从多个容器中分别拷贝日志文件，然后整合成一个日志文件。针对复杂操作，我们可以在远程服务器编写一个脚本，然后 Run 方法中传入执行脚本的命令。

简单举个示例，我们在远程服务器编写了一个脚本 test.sh，放在了 /opt 目录下，脚本内容 与 调用方式分别如下：

# 脚本文件
#!/bin/bash
today=$(date +"%Y-%m-%d")
# 将数据写入文件
$(df -h > $today.log)

package main

import (
	"fmt"
	"log"
  
  "golang.org/x/crypto/ssh"
)

func main() {

	var (
		username = "your username"
		password = "your password"
		addr     = "ip:22"
	)

	config := &ssh.ClientConfig{
		User: username,
		Auth: []ssh.AuthMethod{
			ssh.Password(password),
		},
		HostKeyCallback: ssh.InsecureIgnoreHostKey(),
	}
	client, err := ssh.Dial("tcp", addr, config)
	if err != nil {
		log.Fatal("Failed to dial: ", err)
	}
	defer client.Close()


	session, err := client.NewSession()
	if err != nil {
		log.Fatal("Failed to create session: ", err)
	}
	defer session.Close()

  // 调用远程服务器脚本脚本
	res, err := session.CombinedOutput("sh /opt/test.sh")
	if err != nil {
		log.Fatal("Failed to run: " + err.Error())
	}
	fmt.Println(string(res))
  
  /*
  Filesystem      Size  Used Avail Use% Mounted on
  devtmpfs        909M     0  909M   0% /dev
  tmpfs           919M   24K  919M   1% /dev/shm
  tmpfs           919M  540K  919M   1% /run
  tmpfs           919M     0  919M   0% /sys/fs/cgroup
  /dev/vda1        50G  6.9G   40G  15% /
  tmpfs           184M     0  184M   0% /run/user/0
  */
}

拷贝远程服务器文件到本地（scp）

拷贝文件步骤比较简单：

  1. 建立 ssh client
  2. 基于 ssh client 创建 sftp client
  3. 打开远程服务器文件并拷贝到本地
package main

import (
	"io"
	"log"
	"os"
	"time"
  
  "github.com/pkg/sftp"
	"golang.org/x/crypto/ssh"
)

func main() {

	var (
		username = "your username"
		password = "your password"
		addr     = "ip:22"
	)

	// 1. 建立 ssh client
	config := &ssh.ClientConfig{
		User: username,
		Auth: []ssh.AuthMethod{
			ssh.Password(password),
		},
		HostKeyCallback: ssh.InsecureIgnoreHostKey(),
	}
	client, err := ssh.Dial("tcp", addr, config)
	if err != nil {
		log.Fatal("Failed to dial: ", err)
	}
	defer client.Close()

	// 2. 基于ssh client, 创建 sftp 客户端
	sftpClient, err := sftp.NewClient(client)
	if err != nil {
		log.Fatal("Failed to init sftp client: ", err)
	}
	defer sftpClient.Close()

	// 3. 打开远程服务器文件
	filename := time.Now().Format("2006-01-02") + ".log"
	source, err := sftpClient.Open("/opt/" + filename)
	if err != nil {
		log.Fatal("Failed to open remote file: ", err)
	}
	defer source.Close()

	// 4. 创建本地文件
	target, err := os.OpenFile(filename, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0644)
	if err != nil {
		log.Fatal("Failed to open local file: ", err)
	}
	defer target.Close()

	// 5. 数据复制
	n, err := io.Copy(target, source)
	if err != nil {
		log.Fatal("Failed to copy file: ", err)
	}
	log.Println("Succeed to copy file: ", n)

}

在 sftp client 中，还有许多方法，例如 Walk、ReadDir、Stat、Mkdir等，针对文件也有 Read、Write、WriteTo、ReadFrom等方法，像操作本地文件系统一样，非常便利。

简单封装下

package main

import (
	"fmt"
	"io"
	"log"
	"os"
	"time"

	"github.com/pkg/sftp"
	"golang.org/x/crypto/ssh"
)

type Cli struct {
	user   string
	pwd    string
	addr   string
	client *ssh.Client
}


func NewCli(user, pwd, addr string) Cli {
	return Cli{
		user: user,
		pwd:  pwd,
		addr: addr,
	}
}

// Connect 连接远程服务器
func (c *Cli) Connect() error {
	config := &ssh.ClientConfig{
		User: c.user,
		Auth: []ssh.AuthMethod{
			ssh.Password(c.pwd),
		},
		HostKeyCallback: ssh.InsecureIgnoreHostKey(),
	}
	client, err := ssh.Dial("tcp", c.addr, config)
	if nil != err {
		return fmt.Errorf("connect server error: %w", err)
	}
	c.client = client
	return nil
}

// Run 运行命令
func (c Cli) Run(shell string) (string, error) {
	if c.client == nil {
		if err := c.Connect(); err != nil {
			return "", err
		}
	}

	session, err := c.client.NewSession()
	if err != nil {
		return "", fmt.Errorf("create new session error: %w", err)
	}
	defer session.Close()

	buf, err := session.CombinedOutput(shell)
	return string(buf), err
}

// Scp 复制文件
func (c Cli) Scp(srcFileName, targetFileName string) (int64, error) {
	if c.client == nil {
		if err := c.Connect(); err != nil {
			return 0, err
		}
	}

	sftpClient, err := sftp.NewClient(c.client)
	if err != nil {
		return 0, fmt.Errorf("new sftp client error: %w", err)
	}
	defer sftpClient.Close()

	source, err := sftpClient.Open(srcFileName)
	if err != nil {
		return 0, fmt.Errorf("sftp client open file error: %w", err)
	}
	defer source.Close()

	target, err := os.OpenFile(targetFileName, os.O_RDWR|os.O_CREATE|os.O_TRUNC, 0644)
	if err != nil {
		return 0, fmt.Errorf("open local file error: %w", err)
	}
	defer target.Close()

	n, err := io.Copy(target, source)
	if err != nil {
		return 0, fmt.Errorf("copy file error: %w", err)
	}
	return n, nil
}


// 调用测试
func main() {
	var (
		username = "your username"
		password = "your password"
		addr     = "ip:22"
	)

	// 初始化
	client := NewCli(username, password, addr)

	// ssh 并运行脚本
	_, err := client.Run("sh /opt/test.sh")
	if err != nil {
		log.Printf("failed to run shell,err=[%v]\n", err)
		return
	}

	// scp 文件到本地
	filename := time.Now().Format("2006-01-02") + ".log"
	n, err := client.Scp("/opt/"+filename, filename)
	if err != nil {
		log.Printf("failed to scp file,err=[%v]\n", err)
		return
	}
	log.Printf("Succeed to scp file, size=[%d]\n", n)

	// 处理文件并删除本地文件......
}

通过上面的一系列操作，就可以实现了我的需求：

  1. 编写程序：

    • 连接客户服务器

    • 执行远程服务器的脚本，生成日志文件

    • 拷贝远程服务器的日志文件到本地

    • 处理日志文件

    • 删除本地文件

  2. 在服务器上启动一个定时任务运行该程序

总结

本篇文章记录了如何使用 Go语言连接远程服务器（ssh），并将远程服务器的文件拷贝至本地（scp）的方法和过程。

更多

个人博客: https://lifelmy.github.io/

微信公众号：漫漫Coding路

Lifelmy
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
gossh:gossh是由go语言开发的一种极为简洁的ssh工具。 它只有一个二进制程序，没有任何依赖关系，可以立即使用。 gossh用于管理linux（如unix）计算机
05-28
高斯 1，天哪 gossh是由go语言开发的一种极为简洁的ssh工具。 它只有一个二进制程序，没有任何依赖关系，可以立即使用。 gossh用于管理linux（如unix）计算机：包括命令和推和拉文件的远程执行，并支持独立和批处理模式。 2，高斯能做什么 高斯的三个核心功能： 连接到远程主机以执行命令。 将本地文件或文件夹推送到远程主机。 将文件从远程主机拉到本地。 3.gossh操作模式 gossh支持独立模式和批处理并行模式，也就是说，它可以一次将命令发送到一台机器以执行，也可以一次将批处理命令发送到数千台机器。 批处理并行模式也是gossh的最大功能之一，它在并发执行中充分利用了go语言的优势。 独立模式： 独立模式支持上述三个功能：远程执行命令，推送文件或目录以及提取文件。 批处理模式： ip文件可以通过-i参数指定，并发可以通过-c参数指定。 批处理并行模式还支持上述三个
LadonGo开源全平台内网渗透扫描器框架
K8哥哥
11-07 1669
简介 LadonGo一款开源渗透扫描器框架，使用它可轻松批量探测C段、B段存活主机、指纹识别、端口扫描、密码爆破、高危漏洞检测等。1.0版本包含11个模块功能，高危漏洞检测MS17010、SmbGhost，密码爆破SmbScan、SshScan、FtpScan、MysqlScan，存活探测/信息收集/指纹识别PingScan、IcmpScan，BannerScan、WeblogicScan，端口扫描PortScan。 功能模块 Detection: PingScan (Using system
SSH内网穿透学习小计：在家轻松访问公司电脑中的虚拟机
chengkni的专栏
04-24 7269
今天在朋友的帮助下完成了公司电脑中的虚拟机通过SSH内网穿透——再到家里电脑登录的功能。以后在家也可以使用公司电脑中的虚拟机进行编译工作了。下面就把今天所接触的内容做一下笔记。 以前就知道虚拟机只有桥接物理机网卡后才可以在同一个网段的其他电脑使用SSH进行登录。而现在的需求是有通过外网访问到内网中某台电脑的虚拟机。
Golang笔记：使用ssh包作为客户端与SSH服务器交互
Naisu的各种笔记
05-15 3627
Golang中可以使用 `golang.org/x/crypto/ssh` 包作为SSH客户端或者SSH服务使用。这篇文章将简单记录下作为客户端使用的一些内容。
全自动化、全方位内网综合扫描、漏洞扫描开源工具 Fscan
玩IT的川
03-01 2544
分享一款快捷、简单的内网安全漏洞扫描工具fscan
Golang实现SSH、SFTP等相关操作
qq_44445809的博客
03-27 3760
golang实现ssh、sftp等操作
Go-SMB
Starr
02-27 1712
文章目录1. 理解SMBToken混合编码元数据和引用字段2. 域内密码猜解3. Pass The Hash3. 恢复NTLM密码 SMB协议常用于windows后渗透，该协议通常用于网络共享资源，如文件、打印机和串行端口，并允许通过命名管道在分布式网络节点之间进行进程间通信。使用SysInternals的PsExec（注意带微软签名）工具可以做到远程命令执行。 另外，SMB还可以处理NTLM验证，如远程密码猜解、基于散列的身份验证（pass the hash）、SMB中继，和NBNS/LLMNR欺骗。
基于Smb协议实现网络文件传输(Golang)
Eshare分享
06-24 1507
本文使用到的主要框架版本如下。
Centos7安装Golang1.9.2，设置Samba共享编写go代码
pengweixiang的博客
01-10 1679
安装Golang 迅雷手动或者wget下载go安装包 go1.9.2.linux-amd64.tar.gz https://studygolang.com/dl/golang/go1.9.2.linux-amd64.tar.gz wget https://studygolang.com/dl/golang/go1.9.2.linux-amd64.tar.gz 解压并安装到/usr/loca
SSH-Resource-Model-Generator:修改 Rundeck 脚本以通过 SSH & SCP 生成资源节点
07-04
SSH-资源-模型-生成器 SSH-Resource-Model-Generator是一个经过修改的脚本，用于帮助生成 resources.xml 文件。 文档和原始脚本 修订版 0.0.3 日期：2014-12-26 此修订版更新了内置收集脚本以返回 Rundeck 的正确...
C#的linux-ssh&scp;封装
05-24
C#的linux-ssh&scp;封装，可远程登录linux执行命令和进行文件传输
ssh,scp自动登陆的实现方法
01-10
在A上运行命令:# ssh-keygen -t rsa (连续三次回车,即在本地生成了公钥和私钥,不设置密码)# ssh [email protected] “mkdir .ssh; chmod 0700 .ssh” (需要输入密码)# scp ~/.ssh/id_rsa.pub [email protected]....
go语言使用scp的方法实例分析
09-22
主要介绍了go语言使用scp的方法,实例分析了go语言调用scp命令的使用技巧,具有一定参考借鉴价值,需要的朋友可以参考下
go的反射操作reflect实践
最新发布
yuxuan89814的专栏
04-29 109
go的反射操作reflect实践
【golang学习之旅】Go里面 if 条件判断语句
m0_60511809的博客
04-27 325
Go里面if条件判断语句中**不需要括号**
golang调用阿里云发短信
hjx_dou的专栏
04-27 294
之前用golang封装的一个发送阿里云短信的工具包，代码如下。
Golang爬虫代理接入的技术与实践
Z_suger7的博客
04-26 504
在介绍Golang爬虫代理接入之前，我们先来简要了解一下Golang爬虫的基本步骤。制定爬虫目标：明确需要爬取的网站或数据来源。制定一个爬虫接口：设计爬虫的请求接口，包括URL、请求头等信息。发出HTTP请求，获取数据：使用Golang标准库中的net/http包发送HTTP请求，获取目标网站的数据。屏蔽无效请求：处理HTTP请求返回的状态码，过滤掉无效的请求，提高爬取效率。解析数据内容：使用HTML解析库（例如goquery）解析网页内容，提取需要的数据。
20个 Golang 常见面试问题
sre救赎之路
04-26 501
Golang 提供了 encoding/json 包，使用 json.Marshal 和 json.Unmarshal 函数将 Go 类型编码为 JSON，并将 JSON 解码为 Go 类型。Golang 鼓励显式地将错误作为返回值返回，并提供了如 errors.New 和 fmt.Errorf 这样的函数来创建和格式化错误。Golang 提供了同步原语，如互斥锁（mutexes）和通道（channels），用于在并发场景中安全地访问和修改共享资源。Golang 中的反射允许在运行时检查类型、值和结构体。
【golang学习之旅】Go的 switch 分支语句
m0_60511809的博客
04-27 283
Go里面switch默认相当于每个case最后带有break，匹配成功后不会自动向下执行其他case，而是跳出整个switch, 但是可以使用fallthrough强制执行后面的case代码。Go 的 switch 语句类似于 C、C++、Java、JavaScript 和 PHP 中的，不过 Go 只会运行选定的 case，而非之后所有的 case。有些时候需要写很多的if-else来实现一些逻辑处理，这个时候代码看上去就很丑很冗长，而且也不易于以后的维护，这个时候switch就能很好的解决这个问题。
scp ssh 免密
04-08
SCP和SSH是两个常用的网络协议，用于在计算机之间进行文件传输和远程登录。下面是对它们的介绍： 1. SCP（Secure Copy）：SCP是基于SSH协议的一种安全文件传输协议。它可以在本地主机和远程主机之间进行文件的拷贝...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值