FTP压缩文件上传到HDFS大小不一致的问题说明(FTP传输模式)

1、问题：将ftp文件服务器上的压缩文件通过内存流直接写入HDFS内，却发现文件不一致，MD5SUM校验也不一致。

2、分析：

FTP的传输有两种方式：ASCII传输模式和二进制数据传输模式。

1)ASCII传输方式 ：假定用户正在拷贝的文件包含的简单ASCII码文本，如果在远程机器上运行的不是UNIX，当文件传输时ftp通常会自动地调整文件的内容以便于把文件解释成另外那台计算机存储文本文件的格式。但是常常有这样的情况，用户正在传输的文件包含的不是文本文件，它们可能是程序、数据库字处理文件或者压缩文件（尽管字处理文件包含的大部分是文本，其中也包含有指示页尺寸，字库等信息的非打印字符）。在拷贝任何非文本文件之前，用binary 命令告诉ftp逐字拷贝，不要对这些文件进行处理，要用二进制传输。

2）二进制传输模式 ：在二进制传输中，保存文件的位序，以便原始和拷贝的是逐位一一对应的。即使目的地机器上包含位序列的文件是没意义的。例如macintosh