sftp 获取远程文件列表

在SFTP中有的时候你需要知道远程服务器中某一个文件夹下到底有哪些文件，然后需要逐个读取文件 并将下载下来的文件的原文件给删除或者移走做一些其他的处理。

1： 读取远程文件列表

nameStr=`sftp userID@sftp.domain.com <<EOF
-cd the_folder_name
-ls
bye
EOF`
echo $nameStr > remoteString.txt   ----------这一步返回一个字符串，里面包含了所有的文件名，下一步就是如何取得这些文件名。

 

2： 拆分获取文件名

nameList=$(cat remoteString.txt)
for i in $nameList
do
    echo $i | grep /.txt$ >> remoteNameList.txt
done

--------------这样 remoteNameList.txt 这个文件中就包含了远程服务器中所有文件名的列表。

 

获得了文件名列表 那么下面的对文件的处理就变的容易多了！

 

3： 那么如何知道远程文件夹内有哪些新文件呢？

ls local_folder >> localList.txt    ---------得到本地文件夹内的所有文件的列表。

 

4： 对本地文件列表和远程文件列表进行比较

diff localList.txt remoteNameList.txt > get1
cut -c3- get1 > get2
grep /.csv get2 > get3      -----------------这样get3里面就是那些新文件的信息了。

 

5： 得到get3里面的文件名 然后逐个download
tempFile=$(cat get3)
for i in $tempFile
do

    -----this step you can get the file from the remote server by the file name.

    -----$i  is a file name
done

这样我们就可以轻松的获取远程文件夹下的新文件了，如果再设置一个cron  这样让你的 script 定期拿取，就可以省的人工每次去获取文件。