winpythonhadoop_python-Win32平台的Hadoop / Map-reduce框架的替代方案

我发现Windows上的Hadoop有点令人沮丧：我想知道对于Win32用户,是否有Hadoop的替代品.我最看重的功能是：

>易于初始设置和在较小的网络上进行部署(如果我们为该项目分配了20台以上的PC,我会感到惊讶)

>易于管理-理想的框架应该具有基于Web / GUI的管理系统,这样我就不必自己写书了.

>流行的东西稳定.奖金取决于我们能否及时交付该项目.

背景：

我工作的公司希望建立一个新的网格系统来运行一些财务计算.

我一直在评估的第一个框架是Hadoop.除了非常面向UNIX之外,这似乎完全可以达到预期的目的.我能够将所有教程都升级了&在Ubuntu VirtualBox上运行.不幸的是,在Win32上似乎没有轻松运行.

是的… Win32：我们公司的政策是一切都必须在Windows上运行.服务器管理员(或少数几个开发人员以外的人)都不了解Linux.如果他们找到了我的虚拟Ubuntu环境,我可能会遇到麻烦！可悲的事实是,我们的网格需要托管在Win32上(因为所有测试PC都运行Windows XP 32位),并且可以选择在将来的某个时间升级到Win64.

使事情变得复杂-我们要运行的95％是带有C Windows 32位DLL附加组件的Python脚本.我们的计算库绝大多数是用Python编写的.我们的计算库将无法在Windows以外的任何版本上运行…我真的没有选择

解决方法:

对于python有：

> disco

> bigtempo

> celery-并不是真正的map-reduce框架,但是如果您想要一些非常定制的东西,这是一个很好的开始

您可以在pypi上找到许多hadoop客户/集成

标签：hadoop,reduce,map,winapi,python