关于mojoportal源码中的NeatHtml和Neatupload

关于mojoportal源码中的NeatHtml和Neatupload
2010年08月11日
　　 关于ASP.NET下的上传组件，最广为流传的方式莫过于在ASP.NET Pipeline的BeginRequest事件中截获当前的HttpWorkerRequest对象，然后直接调用其ReadEntityBody等方法获取客户端传递过来的数据流，并加以分析和处理。在ASP.NET 1.1时期，这么做的目的是为了直接将数据写入硬盘，以避免上传内容消耗太多服务器内存，但是现在自然已经不会因为这个原因而这么做了。从客户端发起请求到一定规模的数据传输完毕需要一段时间，那么从HttpWorkerRequest对象中读取数据流自然需要一段时间，而在这段时间内，客户端可以使用新的请求进行轮询来获得当前上传的状况。这就是获得上传进度的最传统的做法。这个做法的原理很容易理解，但是写出一个完整的组件其实很不容易，尤其是各种细节方面的问题会让人感到防不胜防。此类组件中最成功且最著名的莫过于NeatUpload了。
　　NeatUpload是一个开源组件，使用LGPL（Lesser General Public License）许可协议，也就是说它是“business-friendly”的。NeatUpload可以在ASP.NET和mono中使用，能够将上传的文件存在硬盘中或者Sql Server数据库中。NeatUpload提供了两个服务器控件：和。前者用于代替，可以通过它访问到用户通过特定上传框上传的内容；后者则是一个进度条显示控件，负责使用弹出窗口或内联的形式显示上传的进度。弹出窗口自不必说，而所谓的“内联”方式其实只是在页面中嵌入一个Iframe元素，然后通过不断刷新iframe中的页面来进行进度展示而已――可见它和弹出窗口显示方式的区别仅仅在页面所处的位置。当然，如果我们希望将其移植为AJAX形式也不难，只需开发一个页面，继承NeatUpload提供的ProgressPage类，并通过ProgressPage所提供的一些属性（总字节数，已上传字节数，已花时间，etc.）来获得当前上传的进度，最后直接使用Response.Write输出JSON形式的数据即可。事实上原本在iframe（或新窗口）中的页面，也是继承了ProgressPage类，并且使用HTML的方式进行呈现而已，本质上并没有太大区别。
　　　　不过个人认为，其实NeatUpload的实用价值不高（这点稍后再述），它最大的意义还在于提供了一个完整的优秀的示例。NeatUpload设计精巧，注释完整，是个不可多得学习案例。如果能够将NeatUpload的代码研究一遍，那么相信在编程能力和ASP.NET的理解上都会上一个新的台阶。此外，在NeatUpload站点上还能够发现NeatHtml。NeatHtml是一个开源的Web组件，用于显示不安全的内容（主要是用户输入内容，例如博客评论，论坛帖子等等），主要用于避免跨站脚本（XSS，Cross-Site Scripting）等安全问题。作为组件的作者，Dean还将NeatHtml所用到的技术总结为一篇Whitepaper，感兴趣的朋友可以看一下，这是一份不可多得的技术资料。
　　　　顺便提一下，个人认为目前很多开发人员的编程能力还不够，似乎很多人都过早地把精力放在了“设计”，或者某个特定的技术上，而忽略了最基础的“编程能力”，也就是将一段思路转化为代码实现的能力。我发现，很多朋友在解决问题的时候，似乎都能很快得到解决方案并且叙述出来，但是真正要使用代码来表现出来时却显得困难重重。其实在工作中，思路或解决方案可以通过讨论而获得，但是真正转化为代码的时候只能靠自己了。而且编程能力其实和所谓的“工作经验”无关，我建议以“应届毕业生”“自居”的朋友，可以定心地锻炼一下自己的编程能力。
　　　　与NeatUpload类似的开源组件还有Memba Velodoc XP Edition，它是Velodoc文件管理系统的核心。不过严格说来，这不仅仅是一个上传组件，而是一套文件管理的解决方案，它包含：
　　一个兼容IIS 7集成管道模式的ASP.NET Http Module，支持大文件上传使用（有趣的是，NeatUpload申明，IIS 7的一个Bug使它无法在IIS 7集成管道模式中使用）。
　　一个支持断点续传的ASP.NET Http Handler。
　　一系列ASP.NET服务器端控件，提供了文件上传功能所需的UI，包括一个多文件上传控件，一个ListView控件和一个进度条控件。
　　一个Web应用程序，可以替换FTP的交换文件方式，支持Email发送链接。它也是上面所提到的组件的使用示例。
　　一个Windows Service，用于定期清理旧文件。
　　一个测试项目、一个部署项目、以及一个安装项目。
　　文档。
　　　　回到NeatUpload组件。说实话，我始终不喜欢这种进度获取方式，因为我觉得通过一个额外的请求对服务器进行轮询无疑是一个累赘。事实上，如果需要上传大文件并且获得上传进度，目前最好的方式应该是使用RIA方式。最典型的RIA上传方式就是利用Flash了。ActionScript 2.0中已经存在FileReference和FileReferenceList组件以支持单文件和多文件的上传，有了这两个组件，上传的各种信息已经能够完全在客户端获得，而上传进度也自然能够计算出来。FileReference和FileReferenceList组件非常容易使用，就连像我这样对Flash一窍不通的人，也能在短时间内作出一个简单的上传功能。但是自从有了swfupload，世界就变得更美好了。
　　　　严格说来，通过FileReference所得到的上传进度是“客户端发送数据的进度”，而像NeatUpload的做法得到的是“服务器端接受数据的进度”，两者不可混为一谈。
　　　　swfupload也是个开源组件，顾名思义是使用Flash进行上传。不过对于swfupload来说，Flash的作用主要是“控制”，而不是“展示”，这无疑给了开发人员更大的灵活性。swfupload的实现方式自然是利用了FileReference和FileReferenceList组件所提供的功能，通过Flash与JavaScript的交互能力，使得开发文件上传功能变得非常优雅和容易。有了swfupload，开发人员可以使用JavaScript来实现各种显示方式，开发像Flicker一样酷酷的上传界面也不再是非常困难的事情了。
　　　　swfupload是个客户端组件，它对于服务器端来说完全透明，也就是说，服务器端只需要使用对待普通form的方式来处理即可。例如在ASP.NET中我们可以使用Generic Handler来处理客户端的文件上传。如下，fileCollection变量即为客户端Post至服务器端所有文件的集合，我们可以使用name或下标的方式来获得其中的HttpPostedFile对象。：
　　public class UploadHandler : IHttpHandler
　　{
　　public void ProcessRequest(HttpContext context)
　　{
　　HttpFileCollection fileColllection = context.Request.Files;
　　...
　　}
　　public bool IsReusable { ... }
　　}
　　　　既然Flash提供了文件上传功能，Silverlight作为微软主推的RIA技术也不会缺了这项功能。这篇文章源自Silverlight 2.0的Quick Starts，展示了如何使用Silverlight 2.0开发文件上传的功能，感兴趣的朋友可以一读。
　　　　围绕着ASP.NET中上传文件这个话题也讨论了不少了，还有什么没有涉及到的吗？个人认为其实至少还有一个非常重要问题是没有讨论过，那就是在处理上传文件时占用ASP.NET处理线程的问题。众所周知，ASP.NET处理请求时会用到线程池中的线程，当线程池中的线程被用完之后没有被处理的请求只能排队了。因此增大ASP.NET应用程序吞吐量的一个重要手段，就是为一些耗时的操作使用异步处理方式（事实上这一命题可以在大部分应用中成立）。例如一个数据库查询操作需要3秒钟，如果不使用异步操作，处理线程就会被阻塞，直至查询完成。如果使用异步方式来执行数据库查询，在这3秒钟内线程就可以用户处理其他请求，当异步操作结束之后，ASP.NET就会使用另一个线程来继续处理这个请求。
　　　　上传大文件也是一个长时间占用处理线程的工作，而且遗憾的是，这无法使用异步操作来完成（通过异步操作来释放处理线程需要操作系统的支持，因此只有少量功能可以使用异步操作）。如果一个文件上传需要3分钟时间，那么在这3分钟内就会独占一个处理线程，如果上传文件的连接一多，就会大大影响应用程序的性能――就像遭受了某种方式的DOS攻击一样。因此，即使使用了像NeatUpload和swfupload这样的组件，也无法解决上传连接过多造成可用线程减少的问题。要解决这个问题并不容易，以下是两种思路（欢迎大家就此问题进行讨论）：
　　扩展IIS，使上传文件或处理文件的过程不经ASP.NET处理，以减少ASP.NET应用程序线程的消耗。现在有了IIS 7，如果使用集成管道模式，应该也可以使用托管代码进行扩展。
　　使用额外的ASP.NET应用程序处理文件上传，以节省上传文件的线程对原ASP.NET应用程序线程的消耗。
　　　　就先说到这里吧。
　　http://neathtml.codeplex.com/