一、SFTP简述
二、SFTP服务配置(基于CentOS 7)
三、SFTP常用命令
四、Java代码实现SFTP操作(JSch实现上传、下载、监视器)
五、踩坑记录
一、SFTP简述
sftp(Secure File Transfer Protocol)是一种安全的文件传送协议,是ssh内含协议,也就是说只要sshd服务器启动了,sftp就可使用,不需要额外安装,它的默认端口和SSH一样为22。
sftp通过使用加密/解密技术来保障传输文件的安全性,因此sftp的传输效率比普通的FTP要低,但sftp的安全性要比ftp高,因此sftp通常用于报表、对账单等对安全性要求较高的场景。
二、SFTP服务配置(基于Centos 7)
在CentOS 7系统中按照如下步骤配置sftp服务
1、使用root用户查看openssh的版本:版本需大于4.8p1
ssh -V //如果版本过低,可以使用 yun update 进行更新
2、使用root用户创建用户组,组名为sftpgroup;创建sftp用户,用户名为sftpuser,并设置密码
groupadd sftpgroup //创建sftp组
useradd -g sftpgroup -M -s /sbin/nologin sftpuser //-M 表示创建用户时不生成对应home目录,-s /sbin/nologin 表示sftp用户不能登录系统
passwd sftpuser //修改sftp用户密码
3、修改配置文件sshd_config
vi /etc/ssh/sshd_config
修改如下:
将下面这行注释掉
#Subsystem sftp/usr/libexec/openssh/sftp-server
## 在文件末尾添加如下几行
Subsystem sftpinternal-sftp
Match Group sftpgroup
X11Forwarding no
AllowTcpForwarding no
ChrootDirectory%h
ForceCommandinternal-sftp
4、使用root用户新建目录/home/sftpfile,将其设置为sftpuser的home目录,并指定目录权限
mkdir -p /sftp/sftpuser //-p 表示parents,即递归创建目录
usermod -d /sftp/sftpuser sftpuser //-d 表示修改用户home目录//设置Chroot目录权限
chown root:sftpgroup /sftp/sftpuser
chmod755 /sftp/sftpuser//设置sftp用户可以操作的目录
mkdir /sftp/sftpuser/upload
chown sftpuser:sftpgroup/sftp/sftpuser/upload
chmod755 /sftp/sftpuser/upload
5、重启SSH
systemctl restart sshd.service
6、验证:切换到sftpuser用户进行验证
sftp sftpuser@127.0.0.1
三、SFTP常用命令
sftp的常用命令和ftp基本相同,使用help命令即可查询
四、Java代码实现SFTP操作
Java操作sftp需要使用一个开源包jsch,官网地址为 http://www.jcraft.com/jsch/,Maven项目中通过在pom.xml中引入如下依赖,如果需要其他版本,可在Maven中央仓库http://mvnrepository.com/ 查询。
com.jcraft
jsch
0.1.54
Jsch提供了sftp的各类操作的Java实现,ChannelSftp类是实现SFTP操作的核心类,sftp的命令即为该类中的方法,可以对比上图的sftp常用命令,如:sftp命令中ls为展示目录下的文件列表,则ChannelSftp类中有 ls() 方法与其对应。
####1、sftp服务连接和关闭
private voidconnect(SFTPConfig sftpConfig) {try{//通过JSch对象获取session对象
session = newJSch().getSession(
sftpConfig.getSftpUserName(),//sftp用户名
sftpConfig.getSftpHost(), //sftp主机IP
sftpConfig.getSftpPort()); //sftp端口
if (null !=sftpConfig.getSftpPassword()) {
session.setPassword(sftpConfig.getSftpPassword());//sftp用户密码
}if (null !=sftpConfig.getTimeout()) {
session.setTimeout(sftpConfig.getTimeout());//超时时间
}
session.setConfig("StrictHostKeyChecking", "no"); //让ssh客户端自动接受新主机的hostkey
session.connect();this.channelSftp = (ChannelSftp) session.openChannel("sftp"); //打开sftp渠道,除sftp外还有shell、X11等类型
this.channelSftp.connect();
}catch(JSchException e) {this.close();
e.printStackTrace();
}
}public voidclose() {
channelSftp.quit();if (null !=channelSftp) {
channelSftp.disconnect();
}if (null !=session) {
session.disconnect();
}
}
####2、JSch的传输模式
JSch有三种文件传输模式:
(1)OVERWRITE:完全覆盖模式。JSch的默认文件传输模式,传输的文件将覆盖目标文件。
(2)APPEND:追加模式。如果目标文件已存在,则在目标文件后追加。
(3)RESUME:恢复模式。如果文件正在传输时,由于网络等原因导致传输中断,则下一次传输相同的文件
时,会从上一次中断的地方续传。
####3、sftp上传
JSch为每种传输模式提供了3类不同的上传方法
(1)最常用也是最简单的调用
/***@paramsftpParams
*@paramchannelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
*@throwsSFTPException*/
public void upload(SFTPParams sftpParams, int channelSftpModel) throwsSFTPException {try{
channelSftp.put(sftpParams.getLocalFilepath(), sftpParams.getRemoteFilepath(), channelSftpModel);
}catch(SftpException e) {throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
+ sftpConfig.getSftpHost() + ":" +sftpConfig.getSftpPort()+ "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
}
}
(2)基于InputStream的调用
这种方法适用于原始文件不存在,需要保存到远程目录的数据来源于网络或者代码生成,当然原始文件如果存在,也可以通过FileInputStream上传。
/***
*@paramsftpParams
*@paramchannelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
*@paramsrc 输入流
*@throwsSFTPException*/
public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src) throwsSFTPException {try{
channelSftp.put(src, sftpParams.getRemoteFilepath(), channelSftpModel);
}catch(SftpException e) {throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
+ sftpConfig.getSftpHost() + ":" +sftpConfig.getSftpPort()+ "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
}
}
(3)基于OutputStream的调用
通过向put()方法返回的输出流中写入数据的方式来保存文件,这种方式可以自定义输出流的数据块大小(Jsch默认数据块大小为32KB)
/***@paramsftpParams
*@paramchannelSftpModel 调用的模式: ChannelSftp.OVERWRITE,ChannelSftp.APPEND,ChannelSftp.RESUME
*@paramsrc 输入流
*@parambufferSize 数据块大小
*@throwsSFTPException*/
public void upload(SFTPParams sftpParams, int channelSftpModel, InputStream src, int bufferSize) throwsSFTPException {
OutputStream out= null;try{
out=channelSftp.put(sftpParams.getRemoteFilepath(), channelSftpModel);byte[] buff = new byte[bufferSize]; //设定每次传输的数据块大小
intread;if (out != null) {do{
read= src.read(buff, 0, buff.length);if (read > 0) {
out.write(buff,0, read);
}
out.flush();
}while (read >= 0);
}
}catch(IOException e) {throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
+ sftpConfig.getSftpHost() + ":" +sftpConfig.getSftpPort()+ "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
}catch(SftpException e) {throw new SFTPException("Upload [" + sftpParams.getLocalFilepath() + "] to SFTP "
+ sftpConfig.getSftpHost() + ":" +sftpConfig.getSftpPort()+ "[" + sftpParams.getRemoteFilepath() + "]" + " error.", e);
}finally{if (null !=out) {try{
out.close();
}catch(IOException e) {
e.printStackTrace();
}
}
}
}
####4、sftp下载
JSch提供了3类不同的下载方法,JSch提供的下载方法,如果没有显示指明传输模式,则默认为覆盖模式
(1)最常用也是最简单的调用
public void download(SFTPParams sftpParams) throwsSFTPException {try{
channelSftp.get(sftpParams.getRemoteFilepath(), sftpParams.getLocalFilepath());
}catch(SftpException e) {throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
+ sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
}
}
(2)基于OutputStream的调用
打开一个输出流,将远程文件写入输出流中。如,通过FileOutPutStream得到一个本地文件输出流,调用该方法将远程文件数据写入该输出流,默认数据块大小为32KB。
public void download(SFTPParams sftpParams, OutputStream os) throwsSFTPException {try{
channelSftp.get(sftpParams.getRemoteFilepath(), os);
}catch(SftpException e) {throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
+ sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
}
}
(3)基于InputStream调用
将远程文件数据转换成一个输入流,之后可以通过代码从输入流中拿取数据
public InputStream download2InputStream(SFTPParams sftpParams) throwsSFTPException {try{returnchannelSftp.get(sftpParams.getRemoteFilepath());
}catch(SftpException e) {throw new SFTPException("Download [" + sftpParams.getRemoteFilepath() + "] from SFTP "
+ sftpConfig.getSftpHost() + ":" + sftpConfig.getSftpPort() + " error.", e);
}
}
####5、监听器
JSch可以文件传输时,对传输进度进行监控,通过实现JSch提供的SftpProgressMonitor接口来实现监听器的功能。
SftpProgressMonitor接口定义如下
packagecom.jcraft.jsch;public interfaceSftpProgressMonitor{public static final int PUT=0;public static final int GET=1;public static final long UNKNOWN_SIZE = -1L;//传输开始时,调用init方法。其中op为操作类型,即为上面定义的PUT/GET,max为文件的大小
void init(int op, String src, String dest, longmax);//当每次传输一个数据块后,调用count方法,参数为这一次传输的数据块大小
boolean count(longcount);//传输结束时,调用end方法
voidend();
}
现在实现一个每隔1秒,获取上传的进度的功能
public class TimerSFTPProgressMonitor implementsSftpProgressMonitor {private boolean isTransEnd = false; //是否传输完成
private long fileTotalSize; //需要传输文件的大小
private long fileTransferedSize; //已传输的大小
private ScheduledExecutorService service = Executors.newScheduledThreadPool(1);public void init(int op, String src, String dest, longmax) {
System.out.println("Begin transferring.");
fileTotalSize=max;if (fileTotalSize != 0) {final DecimalFormat df = new DecimalFormat("#.##");
service.scheduleAtFixedRate(newRunnable() {public voidrun() {if (!isTransEnd) {if (fileTransferedSize !=fileTotalSize) {double d = ((double) fileTransferedSize * 100) / (double) fileTotalSize;
System.out.println("Current progress: " + df.format(d) + "%");
}else{
isTransEnd= true; //已传输大小等于文件总大小,则已完成
}
}
}
},0, 1, TimeUnit.SECONDS);
}
}public boolean count(final longcount) {
fileTransferedSize= fileTransferedSize +count;return true;
}public voidend() {
service.shutdown();
System.out.println("End transferring, transferedSize : " +fileTransferedSize);
}
}
最后效果如下
##五、踩坑记录
1、JSch实现sftp上传时,2: No such file
原因:在SFTP服务配置一节中,我们将文件上传到/sftp/sftpuser/upload,但是在代码中不能直接写入这个路径,而需要写入 /upload 这个路径,因为对于sftpuser来说,它是没有/sftp/sftpuser/这个路径的。可以通过sftp的 ls / 命令来查看