Hadoop中通过MapReduce for C的本机代码

如果您想进一步参与Hadoop，那么Google 最近发布的有关C的开源MapReduce框架MR4C的公告可能就是使您适应的事情。

C / C ++注入

最初由Skybox Imaging为大型卫星图像处理和地理空间数据科学开发的MR4C被Skybox团队的Ty Kennedy-Bowdoin形容为“围绕一些简单的概念而开发的，这些概念有助于将本机代码迁移到Hadoop”。

MR4C允许您在Hadoop上运行本机C和C ++代码，而无需编写自己的特殊库。 正如Kennedy-Bowdoin解释的那样，该团队认为Hadoop的功能非常适合可伸缩的数据处理，但是他们还希望利用C和C ++开发的经过验证的强大图像处理库的强大生态系统。

该项目的目标是压缩MapReduce框架的详细信息，并允许用户专注于开发有价值的算法，并通过Google小组欢迎对该项目进展的反馈。

该框架通过将算法存储在访问本地文件系统或任何URI中的数据的本机共享对象中而起作用，同时使用JSON文件配置输入/输出数据集，运行时参数和外部库。 可以使用基于Hadoop YARN的工具或在MapReduce版本1的集群级别配置拆分映射器和分配资源。

可以使用自动生成的配置将多种算法的工作流组合在一起，并具有用于日志记录和进度报告的回调–使用Hadoop JobTracker界面可以查看这些回调。 可以使用目标群集上使用的相同接口在本地计算机上构建和测试工作流。

首先，可通过其GitHub页面获得MR4C文档和源代码。

翻译自: https://jaxenter.com/native-code-in-hadoop-via-mapreduce-115029.html