flare-spork: 自己维护的Pig on Spark项目

flare-spork项目基于Spork将Spark部分代码迁移到Pig0.12.0上,升级依赖和版本至Scala2.10.3、Spark0.9.1,兼容Hadoop2.2.0。已合并至Pig0.12.0的Spork版本,可编译和运行,详情见GitHub README。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

关于flare-spork

很早以前有个 Pig Spork分支,尝试把Pig迁移到Spark上,但是代码很久没有更新了。目前Pig on Spark应该是在Twitter内部进行着。

flare-spork是基于Spork对Pig和Spark的衔接,把Spark部分的代码迁移到了Pig 0.12.0上,并且升级了依赖和版本,升级为Scala 2.10.3,Spark 0.9.1,且兼容Hadoop 2.2.0。

目前项目在Github上, 地址。打算参考Spork已经做的一些东西,继续Pig on Spark的开发。

Github上的内容已经是merge进Pig 0.12.0的Spork版本了,可以编译和运行。更多细节的内容可以参考里面的 README。有介绍如何编译,有什么改变,能跑什么样的简单demo。


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值