大文件传不到服务器,记一次服务器之间不能scp、ftp，传递大文件，快速实现方案...

现象描述:

两台服务器在不同的地区，就称之为A和B服务器吧，A、B服务器之间网络能ping通，目前需要将A服务器中数据导出为dmp，并将dmp上传并导入到B服务器oracle中，dmp文件大小为100G左右，由于AB服务器都在互联网中，开放的端口有限且A服务器不能开放其他的端口，A服务器只针对特定的ip开放oracle的端口和22端口，B服务器可开放的端口为：7855。

服务器

解决思路:

由于服务器在不同的地区、开放的端口有限、人工用硬盘的方式拷贝文件成本较高，所以就产生了在B服务器上添加文件上传服务器，将A服务器的文件上传到B服务器下，综合考虑采用Python编写文件上传服务，并将A服务器的dmp文件导出为1G大小的文件，并逐个压缩为zip文件再上传。

python

1. 编写服务

1. 导出脚本

# 导出dmp文件

nohup oracleUser/oracleUserPwd directory=expbk dumpfile=BIS_XXXXXX_%U.dmp filesize=1g logfile=export.log flashback_scn=9704341345274 tables=oracleUser.BIS_XXXXXX &

2. 编写服务脚本

# -*- coding: UTF-8 -*-

import cgi

import time

from BaseHTTPServer import BaseHTTPRequestHandler

# 支持post请求

class PostHandler(BaseHTTPRequestHandler):

def do_POST(self):

form = cgi.FieldStorage(

fp=self.rfile,

headers=self.headers,

environ={'REQUEST_METHOD': 'POST',

'CONTENT_TYPE': self.headers['Content-Type'],

}

)

# ip验证,待改善

if (str(self.client_address[0]) != '192.168.0.104'):

self.send_response(403)

self.end_headers()

self.wfile.write('Permission denied')

return

self.send_response(200)

self.end_headers()

print ('beginUploadFile ')

print ('Client: %sn ' % str(self.client_address))

print ('User-agent: %sn' % str(self.headers['user-agent']))

print ('Path: %sn' % self.path)

self.wfile.write('beginUploadFile ')

beginTime = time.time()

for field in form.keys():

field_item = form[field]

filename = field_item.filename

filevalue = field_item.value

filesize = len(filevalue)

print ('fileName: %s' % str(filename), 'fileSize:%s' % str(filesize))

self.wfile.write('fileName is :%s ' % filename)

self.wfile.write('fileSize is :%s byte ' % str(filesize))

with open(filename.decode('utf-8'), 'wb') as f:

f.write(filevalue)

f.flush()

consumingTime = time.time() - beginTime

print ('endUpload,time consuming :%s' % str(consumingTime))

self.wfile.write('endUpload,time consuming:%s' % str(consumingTime))

return

# 启动服务

def StartServer(port=7855):

from BaseHTTPServer import HTTPServer

sever = HTTPServer(("", port), PostHandler)

sever.serve_forever()

if __name__ == '__main__':

StartServer()

3. 启动

python PostHandler.py

2. 压缩文件

压缩前后对比，压缩前为713M，压缩后为290M，这样就大大的减少了传输时间。

zip VS dmp

3. 上传文件

上传文件使用 curl 命令方式，将文件写入到shell脚本中，执行脚本可实现批量上传。

部分上传文件脚本

4. 上传结果

将上传的文件解压后，列表如下图所示，每个文件相隔时间在2分钟左右，这个取决于网络带宽。

文件列表

总结

通过这次编写脚本可以解决该问题，但是还有需要完善的地方，请各位读者见谅，有其他方案的可以在评论区提出来。