为了帮助IT从业者职业之路拥有更多收获，在诸多C粉的殷切期待下，由 CTO俱乐部打造的CTO线上讲堂自登场以来获得大家好评。本期邀请诸葛io创始人&CEO孔淼带来“Growth Hacking背后，数据分析平台的架构调整 ”的主题分享。
欢迎加入CTO讲堂微信群与业界大咖零距离沟通，11月6日本期讲堂报名方式拖至文末查看。
分享嘉宾：诸葛io 创始人&CEO 孔淼
嘉宾简介：孔淼，90后，诸葛io 创始人/CEO，毕业于华中科技大学软件工程专业。大学期间获得全球最大学生技术创新比赛微软创新杯两项一等奖，腾讯校园之星大赛全国第二，全国大学生计算机设计大赛一等奖，HTML5 code jam武汉冠军。曾受邀实习于创新工场，担任李开复博士的技术主力，负责处理工场各部门以及李开复的技术需求。毕业后放弃保研以及各大公司offer，加入37degree团队开始创业。在37degree期间，曾带领团队服务过CCTV、海尔、宝马等知名企业。过去4年间，孔淼专注于对数据分析、数据挖掘领域的探究，并于去年起打造了新一代的数据服务平台——诸葛io。
公司简介：诸葛io (zhugeio.com) ，作为国内首屈一指的精细化运营分析工具，一直强调数据分析的应用与价值。自2015年3月上线，已拥有围绕产品业务逻辑展开的一系列功能，如：自定义事件、自定义留存、漏斗转化、群组细分、用户画像等。诸葛io旨在以先进的用户跟踪技术和简单易用的集成开发方法，帮助产品与运营者挖掘用户的真实行为特征。产品上线运营半年，已拥有暴走漫画、墨迹天气、小影、寻医问药网的诸多样板客户，总覆盖设备数超过一亿。目前，诸葛io支持Android、iOS和HTML（JS）三个平台。
以下是10月29日CTO讲堂现场完整速记：
主持人：讲堂开始啦~今天嘉宾是诸葛io 创始人兼CEO孔淼，请您做个自我介绍吧。
孔淼：大家好，我叫孔淼，诸葛io的创始人，现在也是CEO，之前是创新工场也是微软创投加速器项目37degree的CTO，所以也应该算第二次创业了，过去几年一直是专注于分布式技术和数据挖掘领域。在过去的几年积累的经验，也意识到了数据分析的困难，所以这次打造诸葛io也是为了帮助更多的企业更高效快捷的开始利用数据驱动决策。
主持人：什么情况下开始的诸葛io的创业呢，最初的创业方向是怎么确定的？
孔淼：最初创业方向应该是我还在37degree的时候，大概是13年底，就和合伙人讨论了当时如何将数据分析标准化服务更多的企业，讨论了当时非常常用的百度统计，友盟，talkingdata，Google Analytics等统计类工具，后来总结他们的弊端有两点：
一是几乎是外部环境和通用的维度数据（DAU, PV, 设备，运营商等等），很难反映业务的情况，并且稍微和业务相关的类似页面访问这些数据粒度也太粗了；二是这些数据大多都是忽略人的行为路径，纯从行为发生进行统计，高度汇总的统计平台。没有基于用户进行分析。
后来也讨论了Splunk这种日志处理分析工具，但是这种工具场景离业务太远了，也会限定用户群是能够收集日志，有一些分析能力的团队。但是没有想到合适的方法，直到14年初一个和手机厂商合作的SDK项目让我们有些开窍了，找到解决问题的方式和办法了，然后连续半个月，我和合伙人每天晚上聊到11点多，到14年10月就开始DEMO，12月就开始现有版本的开发了。
主持人：请介绍一下目前诸葛io的情况以及技术团队构成。
孔淼：目前诸葛io有二十多人，现有的标准化产品是zhugeio.com，暴走漫画，小影，寻医问药，墨迹天气，365日历等知名应用和服务都已经是我们的用户了。现在注册的开发者超过1000，创建的应用也逼近500个了，我们提供javascript，Android，iOS等三个平台的数据分析服务，已经覆盖超过2亿的设备。
同上面讲的差异，诸葛io目前提供的主要是基于用户行为进行实时多维度的交叉分析，帮助更多企业将产品黑盒子打开，帮助他们提高客户留存和客户忠诚度，也能看到更多自己的业务相关指标变化以及背后的人群，目前提供无码布点（无需更新应用实时可视化埋点跟踪），自定义事件、自定义留存、漏斗转化、群组细分、用户画像，通知推送等服务。并且我们在持续迭代，旨在打磨更好，更易驱动决策的产品。
技术团队的构成目前是十多人，包括了前端工程师，web开发工程师，服务端工程师，大数据工程师，数据仓库工程师，运维，DevOps，后台开发工程师，SDK开发工程师, 数据分析师。
主持人：近期“Growth Hacking（增长黑客）”的概念越来越火，很多创业团队都把这个为Facebook、Dropbox、Airbnb等公司带来巨大用户增量的概念奉为圣经。然而，究竟什么是Growth Hacking？该如何理解呢？
孔淼：Growth Hacking我在之前分享过一篇 文章
也在创新工场讲过 一次课
大家可以看看，Growth Hacking更多的是基于一些产品现状的数据分析，通过一些策略获取快速的增长，Growth Hacking不同与市场或者BD，后者更多是面上的覆盖，用通用的方法带来流量或者以资源互换带来增长，它更多的是围绕AARRR的用户生命周期，也就是Acquisition（用户获取），Activation（用户活跃/激活），Retention（留存）， Referral（传播），Revenue（收入），这样一个用户从获取到产生价值转换的过程，其实也是一个漏斗转化，针对某个转化比较糟糕的阶段进行分析，提出策略，然后针对性改善，获取爆发增长。所以是基于数据，更有针对性，也更Hacker一些。
主持人：那么Growth Hacking与数据分析的关系是怎样的？
孔淼：Growth Hacking不是完全拍脑门，我们可能会经常脑洞打开提出很多策略，但是数据分析的支撑越少，语境就越大，就越靠直觉和猜测了，而Growth Hacking大多是基于数据分析，例如刚刚讲到的2A3R（AARRR）的用户转化情况，所以就把策略和决策能够focus在更准确的地方，通常就是我们所说的OMTM( One Metric That Matters)最有影响的指标或因素。
主持人：研发团队在其中扮演着怎样的角色？都面临哪些挑战？
孔淼：我们提供的数据分析，是从采集到交互式分析，所以刚刚讲到的这些职位自然就有相应的对应。SDK工程师（数据采集），服务端工程师（数据收集），大数据工程师（数据处理清洗），数据仓库工程师（建模分析），web开发工程师（网站应用），前端工程师（交互效果），然后运维和DevOps会支撑内部的一些服务和数据分析，数据分析师也会基于数据帮助企业探索一些价值产出。
面临的挑战也挺多的，如何处理更加实时，以及更加大量级的（微信，今日头条等）分析，SLA等等。
主持人：谈到今天分享的主题，为什么说现有的数据分析架构不能支持Growth Hacking需求？
孔淼：其实刚刚对Growth Hacking已经解释了，更多的是围绕用户分析而来，而开始也提到了现有的数据分析系统解决方案大多数是基于Hadoop的统计分析平台，开始会抽出一些待交叉分析的维度，然后针对维度进行计数，所以丢掉了人的行为路径。
主持人：目前诸葛io是如何在架构上解决传统分析平台的不足？可否展开详细谈谈。
孔淼：我们的架构还是现有数据分析常见的lambda架构，我们的数据处理过程分层比较平行，并且基本上都是分布式技术，没有单一的使用一种数据库，例如用到了mysql，infobright， Elasticsearch, Hadoop分别存储和处理不同类型的业务。也把一些高复杂度的分析进行拆解，不太好用单一技术解决的问题，会从业务拆解。
可以分享一个我们的架构图：
我们的消息队列用的是Kafka，这种就把子业务系统的处理变成了多层消费者，支撑不同业务条件下的分析。
我们的架构做过一次变迁，最开始的时候，中间的业务数据清洗，写的是java进程消费Kafka进行处理，后来改成了Samza，也是为了扩展性。
主持人：请介绍一下诸葛io目前的产品及服务？ 诸葛io提供哪些工具来协助提升技术团队的效率？
孔淼：诸葛io的产品和服务刚刚已经介绍过了，我们内部用Gitlab进行代码管理，用JIRA跟踪bug，用Teambition进行项目管理，内部坚决不造轮子，也会用ELK这种跟踪内部的日志。
主持人：相比同类型产品，主要优势有哪些？
孔淼：我们是国内最早基于用户和业务数据的实时多维交叉分析工具，相对于传统的分析工具，主要差异如下：
主持人：请谈谈你们是从哪些方面来做好安全保障和提升服务质量的？
孔淼：我们目前的是基于标准服务器和数据库的端口权限管理保证基础的安全，并且诸葛现有的数据上传和数据查看也逐步全面切换HTTPS服务，我们同是在数据上传和处理也做了多级备份的策略，上周末我们的服务器硬盘突然异常损坏，但是整个过程基本上没有用户的数据丢失，这是对内的，对外我们也在评估一些安全厂商，希望通过外部的力量帮助我们提早发现漏洞和保障安全。
主持人：看到您简历，属于年轻的一代的创业者，请结合您的切身体会谈谈您眼中年轻一代人身上的特点，以及对即将走上创业之路的年轻人有什么建议？
孔淼：我是连续创业，第一次是深度参与创业，所以也很感谢我第一次创业的老板也是我现在的合伙人，让我了解到了创业中得很多问题，而这一次以CEO身份创业也从更多方面上感受到了挑战和压力，但非常值得！
对于年轻一代人，我其实还是不太理解的哈哈，所以大家看我都以为我是85年，其实我是91年出生的，我女朋友比我小一岁，也叫我叔叔，包括身边的朋友大多也是70后和80后一些创业经历丰富的朋友，也一直是我学习的目标。总的来说，我还没有创业成功，也没有太多资格去给别人建议，但我的体会是有价值和值得的。
主持人：那么平时诸葛io的技术团队都通过什么渠道来提升团队？技术团队氛围是怎样的？公司招人过程中，您比较看重新人的哪些特质？不大接受哪一类型的人？
孔淼：我一直坚持的是让大家要发现自己所做事情的价值，也努力让大家认同公司产品的价值，并且帮助每个人找到自己合适职位和工作内容，比如我们的大数据工程师就是从web开发转过来的，兴趣和passion是最好的提升方法。
技术的氛围是鼓励大家学习，挑战和反思。根据职位不同，看重的不一样，但最重要的还是学习能力。不大接受的是自然也就是抵触学习的人。
主持人：推荐一些您觉得非常不错的书籍或者学习资源吧。
孔淼：《精益数据分析》（《Lean Analytics》）相信对很多公司的数据分析部分有帮助，然后架构方面，就是多看类似InfoQ上一些公司分享的slides，国外的就是slideshare、 highscalability 可以找到很多资源，不过还是提醒下大公司的架构不见得借鉴性那么强，核心还是弄清自己业务，以及相关技术栈的特点。
我推荐技术人员不要过多只限于技术，更多也要多了解业务，有的放矢。
互动环节：请问的系统会爬取公网的网页消息用作数据分析么？
孔淼：不会，我们做第一方数据分析，只分析您自己的数据
互动环节：您现在的业务收集数据和数据报告延时多少？主要是哪个环节延迟最大，是什么原因呢？
孔淼：数据收集是实时，这个实时是不考虑终端数据上传策略，数据报告是on demand的。实时的数据报告不包含今日的数据。
问：个人拙见 这是得客户自己不断的改进才能拿到最多给自己的组合。 当然可以反馈给孔老师：）
孔淼：嗯，分析也是迭代的，过往错误的观念是把所有数据都收集起来，结果也都不会分析的，本身版本迭代过程，你也不会一个月解决所有的问题。
互动环节：您能举一个 真是的google analytics 干不了的 你的可以干的了的案例吗？
孔淼：自定义留存，比如滴滴用诸葛io可以看到抢了红包持续打车或者没有打车的的留存率怎样。并且这些数字都能看到背后每个人最近的使用情况。
问：同意。 youtube 只关注 watch time, what's app 就关注 messages per day, fb 关注 dau。
孔淼：是的，过去大家用百度统计，友盟看到的都是一样的留存，DAU，但是其实更加关注的应该是自己的业务情况，比如滴滴打车留存，知乎日报是阅读的留存。
互动环节：不需要hdfs分布式文件系统存储，直接流式处理数据放入数据库中，是这样吗？
孔淼：流失处理数据是过程，HDFS分布式存储是其中一种消费应用，也有入到Redis做技术统计，也有入到Elasticsearch做索引的，还有其他的。所以不是唯一只存在一个地方，每一种数据库有各自的应用场景，并列的消费者。
互动环节：您讲的观点非常赞同。有这么一个问题请教一下：app行为日志和业务相结合，但可能存在你们对于公司的业务不够熟悉，这种情况下如何达到预期效果？
孔淼：我们的SDK接口抽象了，业务抽象成了事件名称和属性的组合。我们捕获数据后，就会自动成为我们的筛选条件。所以每一家应用使用诸葛io筛选条件都不一样。
互动环节：实时的多维分析主要是基于那种存储呢？ 是mysql么？还是mongoDB呢？
孔淼：还是关系型数据库，但是每天凌晨结合业务生成了一些中间表，降低复杂度。
互动环节：大数据分析固然重要， 你们如何对待你们收集的数据里包含的个人隐私？还是还是目前不管这一块？
孔淼：我们做第一方数据分析，不会自己基于数据卖钱，本身就是收费服务，这是我们商业模式。关于安全性，刚刚也讲了我们的措施。
互动环节：使用开源软件过程中有没有遇到一些不好解决的难题？
孔淼：有，有一些限制，但是我们目前遇到的问题不大，往后肯定会有更多问题，下个阶段可能就需要基于源码做深度的修改开发了。
3173
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
