微软开放技术、聚合数据、阿里 JStorm、开源社 – 大数据实时分析编程黑客松

微软开放技术将与聚合数据、阿里 JStorm 团队以及开源社于今年12月17日在北京联合举办大数据实时分析编程黑客松。本次黑客松旨在鼓励大数据应用开发者利用由聚合数据等提供的开放数据集， 创建各类新颖的行业应用场景。同时，微软开放技术将为此次黑客松提供精心打造的“开放黑客松“平台 （基于 Azure 云平台上的仿真模拟动手实验，开发及部署环境 ）。它不仅将大大方便开发者快速搭建开发环境，更整合了一站式的开发体验，完美提升开发效率。

最后值得一提的是，此次黑客松所使用的实时分析工具 JStorm ，完完全全来自中国本土开源社区，且相关开源镜像已上传至由开源社区主导的 VM Depot 虚拟机镜像站点 。我们欢迎您抢鲜尝试！

 

黑客松数据集以及应用场景建议

聚合数据以及武汉市相关政府部门为本次黑客松提供了一系列有趣的真实数据集。以下我们按照时效性将其分为两类，并为各位有意向参加黑客松的开发者提供了相关的场景建议。

1. 实时数据

a)    全国火车票余票实时数据 (来源：聚合数据)

推荐场景：实时车票出发地分布分析和可视化，实时到达地分布分析和可视化，实时预测高峰地点和时刻等

b)   全国飞机航班状态实时数据 （来源：聚合数据）

推荐场景：全国或地区的延误统计以及实时监控统计。如果有地理及天气数据，可以可视化延误和天气的相关度

2. 历史数据

c)    天猫店铺交易记录公开数据  （来源：聚合数据）

推荐场景：模拟阿里的实时监控大盘。实时按类别，按位置的趋势分析。

d)   某城市出租车GPS历史信息（仅供测试）（来源：政府）

推荐场景：出租车的实时分布，出租车密集地区等的可视化

e)    武汉市政府招投标和采购信息  （来源：武汉市政府）

推荐场景：分析新的动向，根据类别，地理位置等的汇总，统计等。

f)     武汉环卫局空气质量定时发布数据  （来源：武汉市环境保护局）

推荐场景：根据每日数据更新，做实时的趋势分析和基于地理的统计等，以警告，报告和可视化图表等结合。

 

有关参加本次黑客松使用数据集与其相关接口 (API) 的详细信息，以及大数据实时分析的一些基本运算接口，在您注册报名参加本次大数据实时分析编程黑客松，并经组委会审核通过后，即可以参加者身份获取。

 

”开放黑客松“平台

微软开放技术为此次黑客松倾情打造了“开放黑客松”（Open Hackathon）平台，为每位参与本次黑客松的开发者提供了焕然一新的黑客松开发体验。在这里，我们选取了几张截图与您一睹为快！

首先在登录页面，该平台支持第三方登录，既保证了安全性又省却了记忆额外登录信息的烦恼，完全满足了本次黑客松所需要的时效性。

登陆后，您看到的是黑客松环境配置页面。它不仅内嵌本次黑客松相关的活动行页面信息以及 JStorm 官方文档供您随时参考，更提供了各种不同编程环境组合。最关键的是，完成选择后您只需点击“提交”，所有缺省配置的部署过程全部自动进行！（我们也为需要更多自由的开发团队预留了空白的Ubuntu 环境。）您再也无需为在黑客松现场搭建环境而感到烦恼！

接下来您所看到的开发环境，完全内嵌于浏览器，并可全屏显示以提供与真实环境相同的开发体验。同时，您可能也注意到了右手边的工具栏中不仅提供了开发文档的链接，还显示了其他参与黑客松的开发者的相关状态信息。

“开放黑客松”平台巧妙的结合了 Docker 以及 Guacamole 等开源容器技术，通过标准的 HTML5 浏览器为黑客松提供了全新的开发体验！

 

阿里 JStorm 开源大数据实时分析工具

JStorm 是由国内开源社区创建的分布式实时计算引擎， JStorm与国际知名的开源应用Apache Storm 同样使用类似Hadoop的MapReduce平行计算框架，属于流水线式消息处理的分布式应用。其优点在于开发迅捷，接口简单，并具有较佳的扩展性和可靠性。JStorm处理数据的方式是基于消息的流水线处理， 因此特别适合无状态(Stateless)计算类型的应用场景。例如，日志分析，管道系统，消息转换以及各类复杂的统计分析等等。更重要的是，Storm上跑的程序可以一行代码不变运行在JStorm上 。

 

JStorm中国社区非常活跃，其技术被中国各类高科技公司，如百度、腾讯、华为、唯品会等，广泛采纳并不断贡献、完善。更令人值得欣喜的是，开源社区已于近期将最新稳定版本的JStorm打包成虚拟机镜像上传至 VM Depot 社区镜像站 。有关详细的安装部署，您可以点击此链接 [Link]。我们鼓励准备参与此次黑客松的开发团队使用这一便捷的工具事前热身。当然您也可以以此JStorm虚拟机镜像为起点，进一步完善它，为社区做出贡献。

 

我们热忱期待您加入我们的黑客松！

 

【有用链接】

-      大数据实时分析编程客松报名

-      VM Depot上的 JStorm镜像以及安装指南

我们将为参加本次黑客松的开发者团队提供黑客松期间所需要的所有软件环境（包含JStorm等)。如果您希望自行体验，欢迎用力点击VM Depot上的JStorm镜像及安装指南。

-      申请 Windows Azure 1元试用账号

我们将为参加本次黑客松的开发者团队提供黑客松期间所需云资源。如果您希望进一步了解微软公有云Windows Azure，欢迎用力点击申请1元试用账号。

 

刘天栋 首席技术推广专家

微软开放技术（中国）