专访李亚锋：“大数据+”趋势下的电信实践之路

9月10日，Shanghai Apache Spark Meetup聚会在上海通茂大酒店成功举行。本次活动邀请到运营商和高校讲师来分享经验，主题覆盖了从研发到应用的各种不同视角，给大家带来耳目一新的感觉。

Spark是UC Berkeley AMP lab开源的通用并行计算框架，凭借先进的设计理念已经成为社区的热门项目。从关注的众多用户来说，影响可见一斑。活动开场，中国电信集团大数据研发团队负责人、大数据应用架构专家李亚锋做主题发言，我们也有幸邀请到他进行本次专访。

中国电信集团大数据研发团队负责人、大数据应用架构专家 李亚锋

嘉宾介绍

---

李亚锋，中国电信集团大数据研发团队负责人、大数据应用架构专家。02年毕业后一直从事IT互联网领域，涉及网络会议、IPTV、安全网关、游戏架构、搜索引擎、推荐引擎等，主要负责后台架构、底层开发及团队管理工作。

2012年加入携程，专注大数据领域，从0到1建立大数据平台及大数据团队。将大数据平台发展到500多个节点规模（包含Hadoop/Hbase/Spark），数据达6PB，日运行job 4万以上，数据日增量50TB。运用大数据技术升级改造核心业务，产生了数亿的经济价值。

2015年9月加入中国电信，打造了一支高质量的大数据研发团队。从无到有构建了电信集团级统一大数据平台——现约800个节点，明年规划到3000多节点，数据量超过30PB，日增量100TB，日作业数超过8万个，可用性达到99.99%。实现了大数据基础开源组件自主维护和开发，完成了全集团MSS/BSS/OSS/CRM/DPI数据汇聚，为后续大数据推动电信业务升级转型打下了坚实的基础。

采访正文

---

CSDN：请先介绍一下自己，以及目前的工作重点。

李亚锋：大家好。02年毕业后我一直从事IT互联网领域，涉及网络会议、IPTV、安全网关、游戏架构、搜索引擎、推荐引擎等，主要负责后台架构、底层开发及团队管理工作。2012年加入携程专注大数据领域，从0到1建立大数据平台及大数据团队。2015年9月加入中国电信，负责中国电信集团大数据研发，并且见证这个团队还有整个大数据平台一步步建立起来逐渐发展成熟。

目前的工作重点主要有两方面：一是大数据团队建设。目前团队整体已经有60人左右的规模，麻雀虽小但五脏俱全，基本形成了一个大数据的小生态，包括：

1. 数据基础服务团队，负责Hadoop、Spark、Hbase、Hive等基础组件的运维、开发和优化；
2. 数据开放平台团队，负责电信数据开放平台（TODP）的开发；
3. 数据仓库团队，负责电信集团级统一的数据仓库，力图解决数据不一致、口径不一致、模型不一致以及数据质量等问题；
4. 数据挖掘团队，偏算法研究与建模，负责核心应用开发，比如会上分享的《中国电信在大数据领域上的创新与探索》，特别像防骚扰电话这种大家普遍关心的事情。
5. 质量控制（QA）团队，主要负责软件测试及DevOps流程贯彻落地。
6. 项目管理团队，有专门的项目管理团队负责项目需求及进度。

二是大数据平台建设工作。除了大数据基础组件的运维、开发与优化，我们同时做电信数据开放平台，也做部分核心应用开发。目前还有一个重要的工作就是数据汇聚， 除了移动和固网DPI数据，还包括CRM、计费、网运、OIDD基站、天翼APP等数据。目前这些工作都在紧张有序的进行中，我们的整体战略就是：数据汇聚——数据存储——计算引擎——开放平台——应用开发，整体来说就是平台+应用。

CSDN：您认为一名成功的架构师应该满足哪些条件？以及回顾您的职场之路，在技术人员进行职业选择时有什么经验可以分享？

李亚锋：我个人理解，一个成功的架构师要做到一体两翼。其中技术能力是体，产品理解和沟通协调是两翼。好的架构师应该成为开发者、产品经理和项目经理的沟通桥梁，必须让大家对架构形成共识，进而理解和信任架构师给出的架构。

关于技术人员的职业选择，最主要的肯定是兴趣，对一件事没有兴趣是很难做好的，但同时也要考虑到这件事的社会适应性。作为个人，我认为两方面都要结合才最好。

CSDN：从2015年9月加入电信，到目前电信的大数据平台经历过哪几次大型的变化？现在的架构是怎样的？

李亚锋： 我们的大数据架构一直在演进。主要经历过以下几次演进：1、在线集群与离线集群分离；2、实时集群与非实时集群分离；3、引入Spark技术；4、支持Docker；5、支持kerberos认证。

现在的架构实现了安全性、隔离性和灵活性的有机统一，为未来建设成超大型大数据平台打下了坚实的基础。

CSDN：时下大数据技术十分火爆，但是企业的应用也需要一个过程，中国电信在市场开拓方面有什么考虑？

李亚锋：我们的整体战略是平台+应用。平台就一套，应用是百花齐放。先重点发展数据平台，然后重点发展应用。平台是基础和土壤，应用是树苗和果实。先开展对内增值应用，后开展对外合作。大数据平台先对内开放，后对外开放。其实，电信本身的业务体系就非常庞大，光对自身业务的改造升级就有巨大空间，智能化运营和个性化服务可以给用户带来很大的价值，也可以帮助电信进一步开拓新的市场。

CSDN：在大数据领域，您目前比较关注哪些技术？

李亚锋：除了持续关注HDFS、MapReduce、Hbase、Spark、Storm、Kafka等，还会关注机器学习、神经网络和深度学习，对于Docker、存储虚拟化、数据可视化也有兴趣。

以上各个方面的技术在我们团队都有在调研和试用，大部分已经应用到生产环境。

CSDN：对于目前的大数据市场，您持怎样的态度？

李亚锋：目前整个大数据市场的热度非常之高，而且有越来越热的趋势。个人感觉，大家现在都在提“互联网+”，但实际上“互联网+”是比较虚的，什么是“互联网+”？很多人认为互联网思维就是网上卖东西，做一个网站或app就可以了。我认为这些都没有真正解决行业本身的问题，网站和app只能算是一个工具，对业务却没有直接推动作用。

我觉得称为“大数据+”反而更有价值。为什么？随着整个社会的发展，通用服务越来越标准化，专业服务越来越个性化，这些服务看起来简单，实际上却需要大量的数据进行支撑。我觉得人类社会的未来发展就是大数据+人工智能，大数据是金字塔的底座，尖上是人工智能。如果没有这个底座，塔尖也不能用，大数据必定会成为不可或缺的重要基础设施。现在大数据已经成为很多公司的基础设施，包括Google、Facebook、BAT等，将来电信也肯定会变成这样。数据就是未来工业的血液，大数据市场前景可以说是无可限量。

CSDN：您刚刚也有谈到大数据的数据方面，那可以谈谈电信集团的数据有什么显著特点吗？

李亚锋：电信的数据大概有以下几个特点：一，数据规模大。如果把全网所有数据收集起来，比BAT所有的数据加起来还多。二，数据关联度较低。不同系统中存在着各种复杂的业务系统，不同业务线的数据相对来说比较完整，但数据关联度不是特别高，所以这块是需要再提升的；三，数据比较分散。运营商大多都有这种情况，因为存在两级管理机构，集团公司下划分省公司，导致不同省之间数据关联较少。数据一定要纵向横向都关联才有价值，这也是我们成立大数据团队的宗旨之一。

CSDN：作为电信集团的大数据负责人，您是如何安排自己的新技术学习、团队管理、编程、生活等时间的呢？

李亚锋：中国电信是一个国有企业，但我们研发中心是一个体制内创新单位，一直按照互联网模式在运作，在管理上公司给了比较高的自由度。大数据团队是我一手创立起来的，需要管理和规划各种事情，工作压力还是比较大的。 业余爱好主要就是游泳、跑步和看书。看书主要是阅读一些哲学、心理学还有历史方面的书籍，技术书籍在上班时间看的比较多。作为管理者还是要有一定的知识广度跟深度，不能只懂技术。技术方面会关注一些新技术或前沿技术，包括技术书籍、开源社区和源码等。过去比较喜欢写代码，但现在时间上不允许，还是会看一些代码，但偏系统架构和产品设计更多一些。

CSDN：对于电信集团的整个大数据团队来说您领导并见证了它的成长，那么作为一名管理者，您是如何定义人才的？

李亚锋：两次重建团队，在用人和培养人才方面我还是有比较深刻的认识。“人才”其实没有权威的定义，主要看你如何去理解。关于人才我的理解有两点：

第一点，我们只招最合适的人。最好的未必就是最合适的。其实所谓的好也很难界定，并不是学历高、背景好就是好，还是要以结果为导向。好的人才应该具备几个特点：第一要有热情，你对你做的事情毫无兴趣是不可能成功的；第二是要有工匠精神，也可以理解为钻研精神，愿意去自我革新；最后一点，可能要求有点高，我觉得好的人才都具备一种使命感，而不仅仅是责任感。因为一个人精神层面的东西才是最强大的，真正能做到的人并不多。此外，时代的不同和工作岗位的不同也会极大影响社会对他的评价。人才不应该通过简单的一、两个维度的标签来衡量，但现在整个社会习惯贴标签，这就很容易陷入误区。

第二点，管理人才稀缺。这个社会非常需要高素质、有使命感的管理人才。管理者最重要的能力是决策力和领导力，但这两点其实很难界定的。作为管理者他应该知道什么是对的，什么是错的，并且能够引导、鼓励团队往正确的方向前进，这个能力是当前社会最缺乏的。同时，还因为思想观念、体制等因素的影响，管理不善导致人才浪费的问题非常严重。

CSDN：像您之前所说自己曾经创业过，现在是在国有企业就职，那么在这两种情况下感受有没有什么不同？还有对于现在的年轻人，有什么建议吗？

李亚锋：不管国企、外企还是民企，这些真的都不重要，关键看团队还有领导，特别是刚毕业的学生，第一个领导对他的影响很大。所以，我觉得选择一个好的团队，一个好的领导，再加一个合适的方向，比其它都重要。现在这个社会，很多年轻人非常看重名誉和薪资，这也很正常，但不应该把这些作为首要条件。得与失是一个辩证的问题。其实，成长到一定程度，经验和能力很强的时候，选择余地是非常大的。在未来发展中，你能不能成为自己希望成为的那种人？这点非常值得现在的年轻人认真考虑。即使不知道自己适合做什么，但年轻就是一种资本，你可以先花两、三年时间去试，大胆的试，最先找到自己适合做什么的人一定是最容易成功的。这可以说是我工作十五年来的一个心得体会。