八大行业Hadoop大数据应用回顾和展望

第一个现象是大数据技术优先应用在采用SQL进行结构化数据处理上，来解决数据量增大带来的处理能力的挑战;这与很多人宣传的大数据技术最适合处理非结构化数据(而不适合结构化数据处理)相反。我们发现企业面临两方面的挑战，一方面是累积的数据量越来越大，从GB增长到了TB(拥有PB级的企业客户也有，但是少数)，另一方面，随着应用的增多和复杂化，计算能力越来越不能满足要求。大多数企业多年来根据业务需求在传统的关系数据库如DB2或者Oracle上开发自己的应用，数据量和应用的数量都在快速增加，传统数据库运行这些应用花的时间越来越长，即使只有1TB的数据，由于业务逻辑的复杂性，在传统关系数据库上运行统计业务，也从以前的日报(每日统计)降低到只能做现在的周报了。这样的时效性已经大大限制了企业的生产力。在IT系统日益成为企业业务本身的大趋势下，IT系统效率的低下严重影响了企业的竞争力。这些待处理的数据都是企业的结构化业务数据，现有的应用也都是基于SQL的。这是分布式的SQL on Hadoop技术发展的客观原因，也是星环科技致力于提升SQL运行性能和SQL支持完整程度的一个现实需求。

第二个现象或者需求是对实时时序数据的处理需求日益强烈，特别是随着传感器和监控设备等电子仪器的普及，企业有越来越多的实时数据。传统处理方法是将电子仪器产生的数据存入数据库后再统一分析。随着设备的增多和数据的增长，传统方案的延时越来越高。利用流处理技术在数据产生的时候就进行实时处理可以极大地提高企业的反应速度和工作效率。2014年星环科技部署了较多的流处理集群，来处理从用户产生的实时数据到传感器产生的数据。

这两个应用趋势我认为在2015年会变得更加强烈。下文简单总结了过去一年中在运营商、金融、物流、工商、交通、能源、广电和电商等多个领域中的大数据应用。

电信运营商

移动互联网时代的运营商面临着许多新挑战。微信等手机通讯APP的出现侵蚀了运营商的语音和短信收入，流量业务显得更加重要。另一方面，无线网络服务是运营商的核心竞争力。近年来，运营商正在投入大量资金建设网络来大力发展4G。4G网络的覆盖率不高或者质量不高导致的4G回落到3G或者2G会大大降低客户满意度。

经过最近一两年的探索，运营商在大数据平台建设方面总结了两个方向，一是利用大数据技术来提升运营效率，同时探索新的商业模式和数据运营方式。在过去的一年中，大数据在运营效率提升方面得到验证，而新的商业模式仍然在探索中。我们在广东移动的经营数据分析中应用星环的内存计算技术成功地将800多个指标的计算从原先Oracle的30小时减少到了4小时，在上海移动成功地将流量经营系统从DB2完整地迁移到了星环的TDH上，运行效率比原先的集群有5倍左右的提升。我们对SQL的完整支持使得应用系统迁移成为可能，而之前合作伙伴曾经尝试过将应用系统迁移到某知名Hadoop发行版上但没有成功。我们正在参与某省电信和某直辖市移动的4G网络优化项目，在这些项目中，