2014年快要结束了,今年使用了些众多的新技术并应用到实践中,
分类如下:
1、实时查询OLAP方面(druid.io、impala等引擎) 整体任务占比70%
2、离线计算方面(目前已经全部升级到hadoop2,使用yarn进行资源调度,并且使用cloudera Manager进入生产环境)整体任务占比15%
3、实时计算方面(目前小规模应用,主要还是基于storm引擎) 整体任务占比 9%
4、基于spark的机器学习方面(基于其生态链圈的第三方机器学习包) 整体任务占比6%
后期会介绍下我们在使用众多技术中碰到各种问题及填坑的经历。