hadoop hdfs----sftp/ssh

通过spark-shell向指定的sftp服务器写文件,报错:

 

我在spark-shell中执行,读取某个服务器上的数据,这个地方没有sftp,用的ssh的,出现了下面的问题

val df = spark.read.format("com.springml.spark.sftp").option("host", "10.10.16.8").option("username", "xxx").option("password", "xxx").option("fileType", "txt").load("/home/lsx/a.txt")

import com.jcraft.jsch.JSch
def sftp_scsh(username:String,password:String,host:String): Unit ={

    val jsch = new JSch
    jsch.getSession(username, host, 21)
    val sshSession = jsch.getSession(username, host, 21)
    System.out.println("Session created.")
    sshSession.setPassword(password)
    //认证
    sshSession.setConfig("PreferredAuthentications", "password,gssapi-with-mic,publickey,keyboard-interactive")
    sshSession.connect
    System.out.println("Session connected.")
    import com.jcraft.jsch.ChannelSftp
    System.out.println("Opening Channel.")
    val channel = sshSession.openChannel("ftp")
    channel.connect
    val sftp = channel.asInstanceOf[ChannelSftp]
    System.out.println("Connected to " + host + ".")
    System.out.println("Connect " + (if (sftp.isConnected) "successed"
    else "failed"))
  }

带访问服务器的/etc/ssh/ssh_config下的配置;这个yes,不允许通过api的方式访问服务器,

而通过FileZilla工具却可以,其实是因为这个工具做了代码设置

session.setConfig("userauth.gssapi-with-mic", "no");
session.setConfig("StrictHostKeyChecking", "no");

 

 

 

 

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值