痛苦的大数据量数据交换

我们做一个全国性的人事项目时，要求用户采集人员数据和照片数据，由于先前没有考虑照片格式、尺寸等问题，在接收数据时发现各家的照片相差太多，从几十K到几M的都有，这使得数据在上报时数据包特别大，而且经常出现发送不出去的问题，另外我们压缩用的是rar，当文件特别大时，压缩的速度也比较慢。经过数次实验，1万人的数据发带照片时为<?xml:namespace prefix = st1 ns = "urn:schemas-microsoft-com:office:smarttags" />1.4G，不带照片时为6M，之间相差太大。而且，问题主要出在照片上，照片大部分的格式为JPG格式，用压缩软件也压不了多少，后来考虑用数据包+照片文件的方式来交换数据。当人员数据特别多时又采用了对人员按单位分包的方式，最后终于解决了这个问题。

总结，由于以前没有做过这么大批数据交换的经验，走了不少弯路，整理出来希望用到的人参考一下。

转载于:https://www.cnblogs.com/8942/archive/2006/12/21/599344.html