随着DTCC2017数据库技术大会的脚步越来越近,会务组的工作人员也在进行着最后的准备工作,力求给开发者们一个“懂你的DTCC”。说到这里,笔者立刻想到一句广告词“哪里不会点哪里”!为什么突然想到这句呢,自然和笔者今天为大家带来的专访有关,什么技术最热我们看什么。
还记得16年的DTCC大会,这位嘉宾带来了《MongoDB在58同城的应用实践》,MongoDB的关注度极高让NoSQL技术专场火爆座无虚席。在今年的DTCC到来之前,笔者再次采访了这位嘉宾,他就是58集团技术委员会主席,高级系统架构师——孙玄。
孙玄
58集团技术委员会主席
孙玄说过“感谢互联网,让技术的价值得到极大尊重。”他也在采访中说道“脱离业务场景,空谈架构绝对是耍流氓。异常牛逼的架构设计,如果无法在业务场景中落地实施,也只是空谈。”这两句话让笔者感受到了一个技术人的执着与情怀。擅长理工科的孙玄大学毕业之后一直和代码打交道,对技术工作非常感兴趣的他曾在百度从事技术研发工作,2011年加入58同城,从事系统架构方面的工作。机器学习在近年来越来越受欢迎,已经在商业领域展示了巨大潜力。目前大数据在科技行业炙手可热,而基于大量数据来进行预测或者得出建议的机器学习无疑是非常强大的。而这一次,他依然带来最热、最受关注的技术分享…
孙玄告诉笔者他最近一直在关注深度学习领域。一方面因为他目前从事的二手商品搜索,推荐等领域,正在基于机器学习(深度学习)训练业务场景模型,提升效果。另一方面,他更看好机器学习的未来,认为将产生巨大的价值。
谈到目前如何利用大数据解决业务方面的问题,孙玄结合转转内部对大数据的利用情况分析道:第一:对二手交易数据首先进行ETL等清洗工作后,结构化到数据仓库和数据集市中,对这些结构化的数据进行统计分析,进而产生BI数据报表,为产品进一步决策做好支持。第二:有了这些结构化的用户数据后,对这些大数据进行挖掘, 特征提取,比如挖掘用户的喜好,用户的长短期兴趣。具备了用户特征后,性对性地对用户进行个性化推荐,用户搜索意图识别,从而能够精准满足用户需求。第三:对大数据更深入的利用是机器学习模型,目前在转转商品搜索,个性化商品推荐,用户反垃圾等领域,大规模基于大数据训练机器学习模型,从而提升商品转化率,打击各种诈骗行为。
说到大数据分析,未来大多数业务人员和分析师将通过自助式BI工具来准备和分析大数据。BI分析是重要的一块,在转转内部也有单独的大数据团队负责研发。孙玄说大数据分析需要解决三个层面的问题:What、Why、How。
“
What是第一层面:是什么。快速描述业务,提供数据原始材料。它的价值是评估业务效果,为业务决策提供支持。Why是第二层面:为什么。分析数据波动原因。它的价值是诊断业务。How是第三层面:怎么做。数据化运营实践落地,指导业务向哪个方向发展。它的价值是让运营闭环,从而良性循环,让业务健康快速持续发展。我们目前在做第二层面和少量第三层面的工作。市面上其他的BI分析工作做法大致类似。难点重点在第三层,需要结合机器学习模型来做。
在采访的最后,这位架构老司机分享了自己这么多年来总结的经验和建议,对于准备成为一名系统架构师的入门者来说,孙玄提出了重要的几点:
第一,基础首要要打扎实
比如:编码能力,线上问题分析和处理能力,网络知识(TCP为什么要有三步握手四步挥手等),多线程并发等等。另外计算机是偏实践的一门学科,因此一定要多实践。我们在招聘同学的时候,经常会遇到一些候选人,对系统设计等侃侃而谈,当要求TA执行落地的时候,就犯难了,这是典型的眼高手低,不重视实践的后果。同时在实践的过程中,不要急着出成果,一口吃不成胖子。
第二,任何架构都要服务于特定业务场景,一切脱离业务谈架构都是耍流氓。
因此作为架构师,需要深入地了解业务场景,不能唯架构技术,需做好合理的架构折中。比如最近流行的微服务架构,微服务架构设计中大家最关注的问题之一一定会是微服务的粒度如何切分?对业务领域场景了解越多,设计的微服务粒度越合理。比如我们在做的58转转,我们会深入了解二手交易平台特点后,按照用户、商品、交易、搜索、推荐等业务进行垂直拆分微服务。有了对业务的足够了解,设计的微服务才会合理并容易执行落地。
第三,要有Open的心态,虚心接受他人的建议甚至批评,尽量做到多包容
人的精力都是有限的,在深挖的领域可以做到大师级,在不熟悉的领域你就是小白。我个人之前一直在从事架构工程工作,去年接手搜索推荐等需要机器学习模型的算法领域,不是非常擅长。如何持续的快速进步?Open的心态就很重要。
第四,工作上积极的做事态度,永远不要给自己设置边界
经常有些同学在工作过程中会有些误区:交给我的工作完成就好了,没必要做些所谓“管辖”之外的工作。这些想法是非常不利的。身边一些成长比较快的同学,大都是做事积极主动,不给自己设置边界。是金子总会发光的,在工作中有了产出,老板们都会看到,自然收入回报、个人机会都会大大提升。
第五:工作中要多思考,知其然要知其所以然,真正转化自己的知识
工作中经常有些同学对某方面的知识一知半解,不追根究底,这是非常不利于成长的。比如大家一定知道同步与异步,阻塞与非阻塞模式,可是同步与阻塞等同吗?异步与非阻塞等同吗?相信还有一些同学是搞不清楚的。
第六:工作中要多沟通交流,切忌闭门造车
可以多参加业界一些大会。机器学习领域目前其他公司是如何做的?都哪些成果?我们是否可以参考并继续优化等等。通过沟通交流后,开阔了眼界视野,也能把业界的做法借鉴使用,一举多得。
第七:除了埋头苦干,要学会积累和沉淀并与业界交流,要多分享
通过写文章或者大会嘉宾的形式。一方面能够把工作的成果和业务交流并供参考,大家一起进步。另外一方面大会分享能够提升演讲能力,同时也扩大了公司品牌和个人影响力。
结语
相信孙玄这些分享已经让我们学习了很多,在DTCC2017数据库技术大会上,他将带来主题演讲《机器学习在二手交易平台中的应用实践》。孙玄将结合二手交易平台的特点,深入探讨机器学习的应用实践,包括用户画像建设实践、知识图谱建设实践、机器学习算法实践以及如何综合利用上述技术大幅度提升CTR、CVR。
![](https://i-blog.csdnimg.cn/blog_migrate/3778639d46164c74608f0ca0cfacd4d5.png)
大会议题预告
演讲议题 | 机器学习在二手交易平台中的应用实践
演讲时间 | 2017年5月12日,星期五
专场11: 机器学习
演讲简介 | 机器学习是人工智能的一个重要分支,近几年发展非常迅速,各种算法不断革陈出新,各行业应用也层出不穷,机器学习也被认为人工智能的未来。本文结合二手交易平台的特点,深入探讨机器学习的应用实践,包括用户画像建设实践、知识图谱建设实践、机器学习算法实践以及如何综合利用上述技术大幅度提升CTR、CVR。
我知道一种学习
○
于坚