FTP原理

windows使用cmd自带ftp到Windows、Unix、Linux的FTP Server时，传输非文本文件时，经常会出现下载下来或者上传到FTP Server的文件无法使用，出现“此包已损坏的提示”，下文将会简单描述此种问题的引发的原因。

FTP协议简介
1.   什么是FTP协议
FTP协议（File Transfer Protocol）即远程文件传输协议，是一个用于简化IP网络上系统之间文件传送的协议，FTP是TCP/IP的一种具体应用，它工作在OSI模型的第7层，TCP模型的第四层上，即应用层，使用TCP传输而不是UDP，FTP建立的就是一个可靠的连接。采用FTP协议可使 Internet用户高效地从网上的FTP服务器下载大信息量的数据文件，将远程主机上的文件拷贝到自己的计算机上。以达到资源共享和传递信息的目的。由于FTP的使用使得Internet上出现大量为用户提供的下载服。Internet成为了一个巨型的软件仓库。
2.   FTP工作原理
FTP有两个过程一个是控制连接，一个是数据传输。FTP协议不像HTTP协议一样需要一个端口作为连接（默认时HTTP端口是80，FTP端口是21）。FTP协议需要两个端口，一个端口是作为控制连接端口，也就是FTP的21端口，用于发送指令给服务器以及等待服务器响应；另外一个端口用于数据传输端口，端口号为20（仅用PORT模式），是用建立数据传输通道的，主要作用是从客户向服务器发送一个文件，从服务器向客户发送一个文件，从服务器向客户发送文件或目录列表。
3.   FTP的传输模式
FTP协议的任务是从一台计算机将文件传送到另一台计算机，它与这两台计算机所处的位置、联接的方式、甚至是是否使用相同的操作系统无关。假设两台计算机通过ftp协议对话，并且能访问Internet， 你可以用ftp命令来传输文件。每种操作系统使用上有某一些细微差别，但是每种协议基本的命令结构是相同的。
FTP的传输有两种方式：ASCII传输模式和二进制数据传输模式。

ASCII传输方式
假定用户正在拷贝的文件包含的简单ASCII码文本，如果在远程机器上运行的不是UNIX，当文件传输时ftp通常会自动地调整文件的内容以便于把文件解释成另外那台计算机存储文本文件的格式。但是常常有这样的情况，用户正在传输的文件包含的不是文本文件，它们可能是程序，数据库，字处理文件或者压缩文件（尽管字处理文件包含的大部分是文本，其中也包含有指示页尺寸，字库等信息的非打印字符）。在拷贝任何非文本文件之前，用binary 命令告诉ftp逐字拷贝，不要对这些文件进行处理，这也是下面要讲的二进制传输。
二进制传输模式
在二进制传输中，保存文件的位序，以便原始和拷贝的是逐位一一对应的。即使目的地机器上包含位序列的文件是没意义的。例如，macintosh以二进制方式传送可执行文件到Windows系统，在对方系统上，此文件不能执行。
如果你在ASCII方式下传输二进制文件，即使不需要也仍会转译。这会使传输稍微变慢 ，也会损坏数据，使文件变得不能用。（在大多数计算机上，ASCII方式一般假设每一字符的第一有效位无意义，因为ASCII字符组合不使用它。如果你传输二进制文件，所有的位都是重要的。）如果你知道这两台机器是同样的，则二进制方式对文本文件和数据文件都是有效的。

现在明白是咋的一回事了吧！^ _ ^
4. FTP的工作方式FTP支持两种模式，一种方式叫做Standard (也就是 PORT方式，主动方式)，一种是 Passive (也就是PASV，被动方式)。 Standard模式 FTP的客户端发送 PORT 命令到FTP服务器。Passive模式FTP的客户端发送 PASV命令到 FTP Server。
下面介绍一个这两种方式的工作原理：
Port模式

FTP 客户端首先动态的选择一个端口（一般是1024以上的）和FTP服务器的TCP 21端口建立连接，通过这个通道发送命令，客户端需要接收数据的时候在这个通道上发送PORT命令。 PORT命令包含了客户端用什么端口接收数据。在传送数据的时候，服务器端通过自己的TCP 20端口连接至客户端的指定端口发送数据。 FTP server必须和客户端建立一个新的连接用来传送数据。
Passive模式
在建立控制通道的时候和Standard模式类似，但建立连接后发送的不是Port命令，而是Pasv命令。FTP服务器收到Pasv命令后，随机打开一个高端端口（端口号大于1024）并且通知客户端在这个端口上传送数据的请求，客户端连接FTP服务器此端口，然后FTP服务器将通过这个端口进行数据的传送，这个时候FTP server不再需要建立一个新的和客户端之间的连接。
很多防火墙在设置的时候都是不允许接受外部发起的连接的，所以许多位于防火墙后或内网的FTP服务器不支持PASV模式，因为客户端无法穿过防火墙打开FTP服务器的高端端口；而许多内网的客户端不能用PORT模式登陆FTP服务器，因为从服务器的TCP 20无法和内部网络的客户端建立一个新的连接，造成无法工作。

下面引用一篇文章详细解析FTP整个过程

>>1.0<< FTP和TCP端口号
根据是使用Port模式还是Passive模式，FTP使用不同的TCP端口号，在详细描述FTP前，我们来简单讨论一下TCP端口号的一些基本概念。TCP使用端口号来标识所发送和接收的应用，端口号可以帮助TCP来分离字节流并且帮相应字节传递给正确的应用程序。TCP端口号可以是半永久的和暂时的。服务器端监听在半永久的端口上来让客户端访问。客户端使用暂时的端口在本地标识一个对话，客户端端口只在使用TCP服务时候才存在，而服务器端口只要服务器在运行就一直在监听。

TCP端口可以归为3类：
1、众所周知的端口来标识在TCP上运行的标准服务，包括FTP、HTTP、TELNET、SMTP等，这些
端口号码范围为0-1023；
2、注册端口号用来标识那些已经向IANA（Internet Assigned Numbers Assigned NumbersAuthority）注册的应用，注册端口号为1024-49151；
3、私有端口号是非注册的并且可以动态地分配给任何应用，私有端口为49152-65535注册的端口号本来打算只给注册的应用使用，可近年来端口号已经陷入了到达极限的困境，你
可能会看到本来应该是给注册应用使用的注册端口被非注册应用用做暂时的端口。RFC1700详细标注了众所周知的和注册的端口号，然而不幸的是，这个RFC文档自从1994年以来一直没有被更新，然后你仍可以从IANA得到一个及时更新的端口列表，详细URL为：http://www.iana.org/assignments/port-numbers

>>2.0<< FTP Port模式和FTP Passive模式
当你对一个FTP问题进行排错时候，你首先要问的一个问题是使用的是port模式的还是passive模式。因为这两种行为迥异，所以这两种模式引起的问题也不同；在过去，客户端缺省为active(port)模式；近来，由于Port模式的安全问题，许多客户端的FTP应用缺省为Passive模式。

>>2.1 FTP Port模式
Port模式的FTP步骤如下：
1、 客户端发送一个TCP SYN（TCP同步）包给服务器段众所周知的FTP控制端口21，客户端使用暂时的端口作为它的源端口；
2、 服务器端发送SYN ACK（同步确认）包给客户端，源端口为21，目的端口为客户端上使用的暂时端口；
3、 客户端发送一个ACK（确认）包；客户端使用这个连接来发送FTP命令，服务器端使用这个连接来发送FTP应答；
4、 当用户请求一个列表(List)请求或者发起一个要求发送或者接受文件的请求，客户端软件使用PORT命令，这个命令包含了一个暂时的端口，客户端希望服务器在打开一个数据连接时候使用这个暂时端口；PORT命令也包含了一个IP地址，这个IP地址通常是客户自己的IP地址，而且FTP也支持第三方（third-party）模式，第三方模式是客户端告诉服务器端打开与另台主机的连接；
5、 服务器端发送一个SYN包给客户端的暂时端口，源端口为20，暂时端口为客户端在PORT命令中发送给服务器端的暂时端口号；
6、 客户端以源端口为暂时端口，目的端口为20发送一个SYN ACK包；
7、 服务器端发送一个ACK包；
8、 发送数据的主机以这个连接来发送数据，数据以TCP段(注：segment，第4层的PDU)形式发送（一些命令，如STOR表示客户端要发送数据，RETR表示服务器段发送数据），这些TCP段都需要对方进行ACK确认（注：因为TCP协议是一个面向连接的协议）
9、 当数据传输完成以后，发送数据的主机以一个FIN命令来结束数据连接，这个FIN命令需要另一台主机以ACK确认，另一台主机也发送一个FIN命令，这个FIN命令同样需要发送数据的主机以ACK确认；
10、 客户端能在控制连接上发送更多的命令，这可以打开和关闭另外的数据连接；有时候客户端结束后，客户端以FIN命令来关闭一个控制连接，服务器端以ACK包来确认客户端的FIN，服务器同样也发送它的FIN，客户端用ACK来确认。

下图图示了FTP PORT模式前几步步骤：
/====================================================================\
| |
| [ ftp Client ] [ ftp Server ] |
| |
| (TCP:21 连接初始化,控制端口) |
| SYN |
| Port xxxx ----------------------> Port 21 [TCP] |
| SYN+ACK |
| Port xxxx <---------------------- Port 21 |
| ACK |
| Port xxxx ----------------------> Port 21 |
| |
| (控制操作: 用户列目录或传输文件) |
| |
| Port, IP, Port yyyy |
| Port xxxx <---------------------- Port 21 |
| Port Seccussful |
| Port xxxx <---------------------- Port 21 |
| List, Retr or Stor |
| Port xxxx ----------------------> Port 21 |
| |
| |
| (TCP:20 连接初始化,数据端口) |
| SYN |
| Port yyyy <---------------------- Port 20 |
| SYN+ACK |
| Port yyyy ----------------------> Port 20 |
| ACK |
| Port yyyy <---------------------- Port 20 |
| |
| |
| (数据操作: 数据传输) |
| Data + ACK |
| Port yyyy <---------------------> Port 20 |
| . |
| . |
| . |
| |
\====================================================================/

FTP Port模式会给网络管理人员在许多方面带来很多问题，首先，在PORT命令消息中的IP地址和端口号的编码不是直白地显示。另外，应用层的协议命令理论上不应该包含网络地址信息（注：IP地址），因为这打破了协议层的原则并且可能导致协同性和安全性方面的问题。

下图是WildPackets EtherPeek协议分析仪解码了PORT命令的地址参数，地址参数后是端口号，见PORT192,168,10,232,6,127；6，127部分的第一个阿拉伯数字乘以256，然后加上第2个阿拉伯数字就得到端口号，所以客户端指定了端口号为6*256+127=1663；
/====================================================================\
| IP Header - Internet Protocol Datagram |
| Version: 4 |
| Header Length: 5 (20 bytes) |
| |
| ............... |
| |
| Time To Live: 128 |
| Protocol: 6 TCP - Transmission Control Protocol |
| Header Checksum: 0xAA36 |
| Source IP Address: 192.168.0.1 DEMO |
| Dest. IP Address: 192.168.0.3 VI |
| No IP Options |
| |
| TCP - Transport Control Protocol |
| Source Port: 2342 manage-exec |
| Destination Port: 21 ftp |
| Sequence Number: 2435440100 |
| Ack Number: 9822605 |
| Offset: 5 (20 bytes) |
| Reserved: %000000 |
| Flags: %011000 |
| 0. .... (No Urgent pointer) |
| .1 .... Ack |
| .. 1... Push |
| .. .0.. (No Reset) |
| .. ..0. (No SYN) |
| .. ...0 (No FIN) |
| |
| Window: 65150 |
| Checksum: 0x832A |
| Urgent Pointer: 0 |
| No TCP Options |
| |
| FTP Control - File Transfer Protocol |
| Line 1: PORT 192,168,0,1,9,39<CR><LF> |
| |
| FCS - Frame Check Sequence |
| FCS (Calculated): 0xF4C04A4F |
\====================================================================/

下图验证了服务器端的确从端口20打开到端口1663的TCP连接：
/====================================================================\
| TCP - Transport Control Protocol |
| Source Port: 20 ftp-data |
| Destination Port: 1663 |
| Sequence Number: 2578824336 |
| Ack Number: 0 |
| Offset: 6 (24 bytes) |
| Reserved: %000000 |
| Flag

当使用FTP时候，网络中的防火墙必须要声明相应的端口，防火墙必须要跟踪FTP对话然后检查PORT命令，防火墙必须要参与从服务器端到客户端在PORT命令中指定的端口连接的建立过程。 如果网络中使用了NAT（注：网络地址翻译），那么NAT的网关同样也需要声明相应的端口，网关需要把在PORT命令中指定的IP地址翻译成分配给客户的地址，然后重新计算TCP的Checksum；如果网关没有正确地执行这个操作，FTP就失败了。

黑客可能会利用FTP支持第三方特性这一特点，在PORT命令中设置IP地址和端口号参数来指定一台目标主机的地址和端口号（有时候称这种攻击为FTP反弹攻击），例如黑客可以让一台FTP服务器不断地从它的源端口20发送TCP SYN包给一系列目的端口，让FTP服务器看起来正在进行端口扫描，目的主机不知道攻击来自黑客的主机，看起来攻击象是来自FTP服务器。一些常用的FTP应用在PORT命令中设置地址为0.0.0.0，这样做的意图是让FTP服务器只需要与打开控制连接的相同客户进行数据连接，设置地址为0.0.0.0可能会让防火墙不知所措。例如，CISCO PIX IOS 6.0以上版本的PIX（注：CISCO硬件防火墙设备，6.0以上版本为其修正了相关的FTP协议）要求数据连接的IP地址与已经存在的控制连接的IP地址必须相同。这样做的原因是防止黑客用PORT命令来攻击别的机器，虽然一些FTP应用设置IP地址为0.0.0.0不是有意图的攻击，但在PIX修正协议环境下的确引起了一些问题，同时对其他不允许第三方模式和避免FTP反弹攻击的防火墙来说，这也会引起相同的问题。

>>2.2 FTP Passive模式
下面的列表描述了Passive模式的FTP的步骤，步骤1到3和Port模式FTP相同，步骤9到11同样与Port模式FTP最后三步相同。

1、客户端发送一个TCP SYN（TCP同步）包给服务器段众所周知的FTP控制端口21，客户端使用暂时的端口作为它的源端口；
2、服务器端发送SYN ACK（同步确认）包给客户端，源端口为21，目的端口为客户端上使用的暂时端口；
3、客户端发送一个ACK（确认）包；客户端使用这个连接来发送FTP命令，服务器端使用这个连接来发送FTP应答；
4、当用户请求一个列表(List)或者发送或接收文件时候，客户端软件发送PASV命令给服务器端表明客户端希望进入Passive模式；
5、服务器端进行应答，应答包括服务器的IP地址和一个暂时的端口，这个暂时的端口是客户端在打开数据传输连接时应该使用的端口；
6、客户端发送一个SYN包，源端口为客户端自己选择的一个暂时端口，目的端口为服务器在PASV 应答命令中指定的暂时端口号；
7、服务器端发送SYN ACK包给客户端，目的端口为客户端自己选择的暂时端口，源端口为PASV应答中指定的暂时端口号；
8、客户端发送一个ACK包；
9、发送数据的主机以这个连接来发送数据，数据以TCP段(注：segment，第4层的PDU)形式发送（一些命令，如STOR表示客户端要发送数据，RETR表示服务器段发送数据），这些TCP段都需要对方进行ACK确认；
10、当数据传输完成以后，发送数据的主机以一个FIN命令来结束数据连接，这个FIN命令需要另一台主机以ACK确认，另一台主机也发送一个FIN命令，这个FIN命令同样需要发送数据的主机以ACK确认；
11、客户端能在控制连接上发送更多的命令，这可以打开和关闭另外的数据连接；有时候客户端结束后，客户端以FIN命令来关闭一个控制连接，服务器端以ACK包来确认客户端的FIN，服务器同样也发送它的FIN，客户端用ACK来确认。