Shell开发脚本 通过SFTP 定时 上传文件

【背景】

与三方公司对接，有数据传输需求，数据传到对方的服务器，对方提供的传输方式是SFTP

【思路】

数据来自于ORACLE，项目先提供在服务器上使用sqluldr2来操作【数据导出】工作，之前的博客有提到大批量数据【导入】工具sqluldr，注意不要弄混了，然后把数据存到指定的文件下，接着通过crontab 任务定时调用传输工具脚本就行了，之前未接触过SFTP，这次遇到一些坑，网上查了许多文章没有我需要的，简单记录一下：

1.FTP传输示例

先放之前FTP上传下载文件的做法，连接到指定IP和端口 把用户名和密码写在后面 进入指定的路径，完成操作即可，提醒一下，确保执行脚本的电脑有FTP

ftp -ivn <<EOF
	open 172.X.X.X 21
	user ftp_user ftp_passWord
	binary
	lcd /opt/yj/ChannelDataFolder/  
	mput *.txt
	quit
EOF

2.SFTP传输示例

spawn sftp -oPort=端口 sftp_name@sftp_ip
expect  {
    "password:" { send "sftp_password\r" }
}

expect "sftp> "
send "cd sftp_path\r"
expect "sftp> "
send "put data.txt\r"
expect "sftp> "
send "bye"

个人觉得SFTP与FTP在 SHELL脚本最大的区别就在于，ftp可以一步到位，sftp多了一个交互的过程，实现就需要考虑如何跟sftp服务器完成交互，最开始做的时候看着一些代码段直接拿来用，后面这也不行那也不行，原来自己没有安装expect 这个工具，一切操作要在这个工具支持下完成，tcl和expect都要安装。

下载安装示例

下载地址如下：
https://download.csdn.net/download/u012972294/84232811

下载两个包，分别解压  注：假设两个包存放地址为，/usr/local/src

1。先安装tcl

　　进入tcl解压目录，然后进入unix目录

　　#./configure

　　#make

　　#make install

2.后安装expect  注：如果目录和上述不一致，需要更换到你解压的目录，千万注意路径问题！

　　进入expect解压目录

　　#./configure --with-tclinclude=/usr/local/src/tcl8.4.19/generic/ --with-tclconfig=/usr/local/lib/

　　#make

　　#make install

完成，测试

　　#expect

　　expect1.1> 
　　expect1.1>

【可能遇到的问题点】

0. 没有编译环境！！！！

我在新的服务器环境遇到了！！   这个就自行百度了， 

1.expect安装完成且测试通过，但是运行报错提示：expect spawn not found

网上很多方法，我试过都不行，我的处理方式执行的时候这么写：

expect -f ./XXX.sh

2.执行脚本的时候各种提示，无法识别定义的变量、shell命令等，具体原因暂时没有弄明白，只好折中处理，把变量直接写到sftp命令里面，把传输工具和数据提取分为两个部分，互不干涉。

3.sqluldr2 导出数据时，会遇到数据不换行  分隔符不起作用的情况，这里做个简单总结

field：指定字段分隔符，默认为逗号（单词不要打错了！！！）

record：指定记录分隔符，默认回车换行，windows为换行，具体请查看ASCII，0x0d：回车，0x0a：换行 TAB键=0x09，|=0x7c，&=0x26，双引号=0x22，单引号=0x27

我是这么写的

/opt/oracle/db01/app/oracle/product/11.2.0/bin/sqluldr2 user/password@172.xx.xx.1xx/orcl  sql=/dev/yj/GetDbData/5gGou/query.sql  field="," record=0x0d0x0a batch=yes rows=200000  file=/dev/yj/GetDbData/5gGou/5ggou_data.txt head=yes charset=utf8

4.客观的说，这次用定时任务+sftp 传输脚本 把我坑惨了，服务器对expect支持相当有限，各种奇葩问题，网上少之又少，遇到not found的问题，你就用全路径 ，遇到定时任务无法调用 sftp传输脚本，你就用一个shell脚本 调用一下传输脚本，我被下面这个问题烦透了的，send:spawn id exp1 not open

耽误了我相当长的时间，最后也只有根据报错一步一步的来，最后我把\r 改为\n 居然就搞定了，手动执行没问题的啊，怎么定时任务就执行不了，太难了，祝各位遇到类似问题的盆友好运吧