兴趣是最好的老师, 年轻人应该做自己喜欢做的事情[@BI,大数据]

摘要:张溪梦所带领的LinkedIn商业分析部团队只有55人,却可以通过集成数据架构、BI、数据挖掘和分析来满足2700-3000位LinkedIn内部员工对2亿注册用户,研发、产品、市场推广、销售和运营等多方面的需求。

作为职业社交网站的鼻祖,LinkedIn本质上就是一家通过运营大数据进而产生商业价值企业。从2002年12月创立到2013年初,LinkedIn注册用户已到2亿,平均每秒增加一个新用户,86%的“财富100强企业”正在使用LinkedIn的付费解决方案,270万个公司主页在此安家落户,用户每年发起超过几十亿次搜索。据悉,在LinkedIn上一季度1.61亿美元营收中,“人才解决方案”的贡献已经超过了一半。而与Facebook和Twitter不同,LinkedIn相对更为低调,但盈利状况却非常不错。日前,CSDN云计算频道记者在2013 Teradata大数据峰会上,专访了LinkedIn商业分析部总监张溪梦(Simon Zhang),深入了解LinkedIn背后的平台技术以及通过大数据分析所带来的商业价值。

数据分析,支撑LinkedIn五大部门


随着企业对大数据分析认识的逐步深入,数据分析已经被提到企业信息构建的议事日程中。但更多企业只是将数据分析作为业务及IT部门的外延或项目管理来定位,鲜有将其作为独立部门设置,更不要说与研发、产品、市场、销售、运营等五大核心部门并列存在。LinkedIn反其道而行之,就这么做了。


LinkedIn Corp商业分析部总监张溪梦(Simon Zhang)

问:LinkedIn是如何定义商业分析部门的?

张溪梦:LinkedIn有三大块业务版块,一是人力业务,上个季度财报显示,占营收的53%;;二是市场推广广告大约占27%;三是高级订阅服务,和LinkedIn的会员有关系,占20%。这三大业务都需要数据分析的支持。我所率领的团队现在55人(目标是60人左右),工作重点是就是对2亿注册用户通过集成数据架构、BI、数据挖掘和分析,直接支持近2700-3000位LinkedIn内部员工(目前LinkedIn大约有3500-4000个员工,这意味着满足70%员工的数据分析)的需求,这些需求覆盖到研发、产品、市场推广、销售和运营等五个主要商业职能部门。

问:为什么这么多内部员工有数据分析的需求?

张溪梦:有人将LinkedIn定义为找工作的平台,但事实上,从LinkedIn的数据来看,只有20%的人是比较活跃地在找工作,大约80%的LinkedIn用户主要的商业目的是同其他公司建立联系/关系。他们希望能够连接世界上所有的专业人士,使工作更为有效率、更富影响力、更成功。这些需求反映到LinkedIn内部,就是五大职业部门都有不同的数据分析需求,且差异很大。

问:构建在数据平台上,LinkedIn的产品如何设计?

张溪梦:对的。LinkedIn本质上就是利用数据产生价值。所有的产品设计原理就是从数据分析中获得”有关人的关系“。举例来看,LinkedIn的会员数据会不断变化,从中显然会产生更多有价值的新产品,比如2008年推出的“您可能认识的人”,以及我们现在开发的“您会感兴趣的工作、您会认识的人、您可能会喜欢看的等”,这些产品会促进业务增长,增强用户粘性。而在此基础上,最核心的业务(占到40%—50%)猎头业务,作为纯数据的业务,目的就是帮助企业找到最适合的、最优秀的人才。在LinkedIn看来,保证公司成功最核心的就是人才,从数据中分析人,帮助这些人才成功,是我们不变的理念。

问:这些新产品从数据逻辑原理上看,基本是相同的,彼此有什么区别么?

张溪梦:数据基本原理都是完全一样的,而本质都是通过数据来发现相关性,进而形成社交网络(Social  Network)。之前LinkedIn更多做针对会员的基础性产品,现在数据平台已经建成,并获得利润空间,是时候做更多深度挖掘的工作了。这些产品彼此之间的交叉分析将是新的产品,如通过人与人之间的关系做不同颜色的区隔,形成多样性新分析才更具价值。

技术实用主义:开源,闭源都用


即使是极为追求开源技术的互联网巨头,也是开源技术与闭源方案都用。因为在他们看来,市场上没有好产品就自己研发,然后开源出去给更多人分享;市场上有成熟高效的产品,就立即拿来应用。因为,要实现盈利和生存,“快”是最根本的需求。

问:数据分析平台经历了哪些变迁?

张溪梦:人与人之间的关联不仅是线性增长,更多是几何增长的。比如你认识500人,他们背后各自又有500人的连接,发散下去,三级网络是500×500×500。而要对这些数据进行分析,几年以前,用的是传统数据库,计算一次要几天到一个星期;而后用了Aster Date(Aster当时尚未被Teradata收购)来换算数据流,数据量缩短不少;再到迁移到Teradata大数据分析平台,现在分析比原来基数要大数十倍的数据也仅需要几个小时,速度是原来的几十倍。

问:几天前,我们曾发表文章《Operation InVersion:拯救了LinkedIn的大修项目》提到LinkedIn去掉原来传统数据库,代之以自己开发的Voldermont存储系统和Kafka消息系统。您怎么看?

张溪梦:对,和其他互联网企业一样,LinkedIn也崇尚开源。LinkedIn是最早使用Hadoop的,无论是增加SQL层实现从Hadoop中抓取数据,还是基于Hadoop的开源安全加密方案,LinkedIn几乎都是第一家提出并落地的。工欲善其事,必先利其器。LinkedIn本身也有很多开源工具,但对我们而言,关键是要快。有些业务部门跟我说,不要说BI要2个小时,我们就需要5秒内出结果,甚至有些方案,最好一个按钮就能出来。这类服务,其他企业是根本提供不了的,所以我们都是自己开发。但是另一类,本身就有企业在专业方面做的更好,比如Teradata天睿公司在企业数据仓库(EDW)中确实是最成熟、稳定、速度也是最快的。那为什么不采用呢?在LinkedIn内部大概有25种不同的数据库和数据解决方案,其中60-70%都是内部开发的,但在数据仓库方面,通过6个月时间严格评测最后选定了Teradata。

问:怎么看待开源和闭源之间的关系?

张溪梦:在技术角度来说,开源和闭源之间是有一个平衡的。开源速度快,但不稳定需要优化;闭源稳定,但反应速度比较慢。LinkedIn在互联网里面技术方面是非常前端的,很多需求倒逼升级,甚至有些需求所需要的技术支持在之前并不存在,所以要去开发。比如,以前开发BI解决方案,需要2秒钟内得到分析报告,这在市场中根本不存在。我们团队花了2个月4个人做出来系统,而且是开源的。再举个例子,统计分析有两个知名系统,SAS和R。前者稳定,闭源,价格高昂,功能众多,一般只有大型企业才用得起,而后者是开源的,反应快,不稳定,但在专业领域中很有优势。现在即使在硅谷,也有很多企业都开始尝试R,渐渐从闭源移到开源。原因不在技术,而是在人。开源技术的拥护者都是年轻人,随着年轻人在企业地位的提升,开源技术的采用会更加普遍。这是人和技术之间交互的过程。对开源和闭源方案,我认为就像打高尔夫一样,不同的球杆有不同的作用,开源有开源的作用,闭源有闭源的好处,如何能够最好地实现商业目的这是最重要的。不一定是必须要开源,或者必须要闭源。

问:LinkedIn的开源产品大部分都回馈到社区了

张溪梦:很多,LinkedIn开源了很多核心的源代码。比如说以前LinkedIn的数据库,中文名字叫“帅”。这个数据库非常快,比一般的快十倍左右。LinkedIn开发出来以后就直接开源了。还有LinkedIn做的DataFu基于Hadoop统计学库,其中有很多Hadoop应用,还有一些“你可能认识的人”的算法,全部开源到Hadoop系统中了。现在很多人都在用。  

新模型:从金字塔到菱形


LinkedIn内部数据增长在1000倍左右,但是数据价值并非同数据量增加呈线性对应关系,有时候,甚至是因为数据量增加使得价值降低了。举个例子,数量增大,硬盘增大,存储成本必须增加,但系统速度会变慢,以前一个分析或者需要一天,现在同样的分析则需要一周。但增加的价值不足以抵消成本的增加时,压力会非常明显。所以,LinkedIn构建了一套新模型,从金字塔变成菱形,面积缩小一半,真正将大数据做小,实现团队快速运行。因为对决策团队而言,真正有价值的数据也许只有1K—几十K。用语言描述就是实现“是还是不是,做还是不做,什么时候做,做什么。”

问:从金字塔到菱形,技术上看,如何做到的?


张溪梦LinkedIn以前的整个分析结构是一个金字塔形结构。基础是公司的业务,比如说LinkedIn会员数据是底层基础。其上是LinkedIn产品、市场推广、销售、运营等基本核心业务,再上面分别是产品追踪、数据和数据质量管理、专题分析、商业智能与报告、深度分析,最后才是商业洞察,决策。这个宝塔是一个非常慢的过程,越在底下花的时间越多,但真正有价值的是最后这几个步骤。但是,这显然与LinkedIn快哲学不同。要快,就要改变这个模式,所以我们将大金字塔做成菱形。从数学上看,一个等边三角形,把它变成了一个对等的菱形的话,面积缩小一半。也就是说,用技术把底做小,用机器和科技为人服务,人的智慧主要集中在上面这种结构,比如深入分析、决策支持。这个阶段已经被证明是高效的,我刚开始加入LinkedIn,每天从早晨8:30工作到半夜两三点,一周工作6天,一年只不过出500个报告,支持不到200人,平均每年帮助每人1-2次;但现在,我的团队每人每天就能帮助别人10次。我们的效率提升了500-1000倍,现在团队50多人,可以支持3000人的工作。而下一阶段,将再次变小,将菱形变成球形,用滚雪球的方式带来更大价值。

问:底层分析是系统/机器来做?

张溪梦:是的。数据本身没有意义,有意义的是其中的分析。现在研发、产品、市场推广、销售和运营等部门不需要找分析师,通过系统就可以直接拿到需求报告(PPT格式方案),而团队的工作是分析核心数据,做决策建议。可以这么来定位,就是历史上姜子牙、司马懿、房玄龄这些谋略和决断的支持部门。。

问:国内的技术开发者和国外的技术开发者的区别?

张溪梦我们在能力、智慧等方面一点都不比海外的顶尖分析师差,相反,在执行上,还非常非常有效率。但唯一的一个差异,我认为是创新性。真正自主研发的创新产品,有些创新实际上就是长期积累下来的灵光一闪。我看到国内很多企业的技术很是优秀,尤其是互联网企业。但现在关键是想不想分享,怎么分享?团结的力量很大,但是封闭、保守永远会被历史淘汰。要通过新技术引领企业先前走,进而成为中国独树一帜的技术的先锋。我的团队现在平均30岁左右,是非常年轻的队伍。包含印度人、中国人、美国人、德国人,全世界各地的人都有。

兴趣+勤奋+长远规划,做喜欢的事情


学之者不如好之者,好之者不如乐之者,兴趣是最好的老师。天津肿瘤医院的外科医生到LinkedIn商业分析部总监,张溪梦一步步地发展,从睡在地上,到睡在箱子上,再到如今睡到大床上。他告诉年轻人,做自己喜欢的事情最重要。

问:从天津肿瘤医院的外科医生到LinkedIn商业分析部总监,您本身的经历就很有故事性。谈谈您对职业变化的感受吧?

张溪梦:学之者不如好之者,好之者不如乐之者,兴趣是最好的老师。作为数据科学家,我见过很多名校毕业的,他们研究物理、化学,想成为数据科学家,我对他们的建议是不要因为现在的数据科学家这个词汇非常热门,就要变成这个产业里的一员,我觉得这样的人往往最后不一定能很成功。想成功的话,需要有强烈的兴趣,非常勤奋,并有长远的目标。讲个小故事,我去美国的时候什么最火爆?护士最火爆,一年就能拿到绿卡,只要进去考个试就有绿卡了。很多人就说,你有医生的背景干脆去考护士吧。我当时就说我不去,因为我不感兴趣,这与长远目标不吻合。结果学护士现在都要等15年才能拿到绿卡,因为学的人太多了,医院都占满了。

问:对年轻的技术人员的建议?

张溪梦:我喜欢计算机、互联网、玩游戏、看杂志。到美国学了MBA,并创业(失败了),再到eBay和LinkedIn。其间开始学数据库和网络编程。一步步,从睡在地上,到睡在箱子上,再到如今睡到大床上。我的经历中得到了很多朋友的帮助,也希望将自己经历进行讲演同大家分享。美国做过相关调查,15%的人喜欢他的工作,85%不喜欢他的工作。现在,我在上海也招了很多人。因为我认为,年轻人应该做自己喜欢做的事情。(文/郭雪梅,审校/仲浩)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值