关闭

数据工作本质:从业务中来,到业务中去

标签: 数据思维数源思维
1828人阅读 评论(3) 收藏 举报

引言:数据工作就组成结构和流程来说还是比较简单的,因为这个工作本来就很年轻,分工还没有很细。总体来讲,我把数据工作看成相互连接的三部分:取数、理数、用数,这是一个闭环。用数的需求会驱动取数工作,并对取数工作提出具体操作性要求。
《数源思维》一书正是以此本质为核心内容,提出了一套简便实用的方法来实现对数据工作价值的把控。

取数

  取数工作解决的是数据源的问题,具体来讲是由下面的一系列工作组成:

[1]设计并实现产品中取数的方法和规则
[2]产品运行过程中,实时的或周期性的从产品端获取数据。
[3]传输、接收、校验数据
[4]格式化归档存储数据。

  经过取数工作后,就形成了由业务运行产生的原始数据。原始数据是极其丰富的,有很多种分类方法,而从用户的观点来看可以大致分为两种。一种是用户意识到的主动提供的,如注册数据,发表的文字等;另一种是用户不容易意识到的被动提供的,如上网IP地址,操作动作(像PC上的鼠标移动,手机上的滑动)。

  之所以用这个数据工作者不常用的维度来分类原始数据是想提醒产品经理在产品设计时也需要一点数据思维。能采用第二种方式得到数据,就不用第一种方式去麻烦用户。

理数

  整理数据。这一步并不是必须的,尤其对初创企业来说,直接用原始数据是更经常的事。一方面因为初创时期的业务重点还不在于数据问题,另一方面也因为一些原始数据是结构化的,直接入数据库的,已经能用,比如用户注册数据。但随着数据的丰富和业务重点的变化,理数就变得越来越重要,因为大部分原始数据是无法直接用于分析和再产品化的,比如IP地址,比如文字。

  理数标志性的工作就是对原始数据进行多层抽取、归纳、抽象的数据仓库建设。如果说取数是从用户中来,用数是到业务中去,那理数就是两者的桥梁,是将来自用户的数据原料转换为可供研究、分析或形成数据产品使用的数据零部件、半成品。这其中就会涉及数据挖掘工作。比如上面提到的IP地址,其本身并不能被直接使用,所以一般就会根据一个IP地址数据库将IP转换为地区名称。这就是将一个原始技术数据转为一个有意义的业务信息。

  理数阶段的数据挖掘与用数阶段的数据挖掘并没有严格的区分,一般认为这个阶段的主要任务是将需求更普遍,应用更广泛的信息从原始数据中挖掘出来以减轻后面用数的工作量。比如像用户性别、年龄等基本属性的挖掘。尽管大部分互联网产品都会让用户填写这些字段,但用户填的叫原始数据。如果你直接使用原始数据,看上去是跳过了理数工作,但实际你是启用了一个理数的规则或模型,只不过输入和输出是一样的。这个模型的开发和应用成本为0,但机会成本是多少就要自己判断了。

  当数据库、数据仓库准备好了零部件、半成品后,数据工作就要进入最眼花缭乱的用数阶段了。

用数

  使用数据有2个方向,一是为企业内部工作提供决策支持,二是直接为用户提供独立数据产品或数据支持下的产品新功能。

  说到决策支持可能最先想到的是BI。狭义的传统BI主要使用企业运行产生的内部数据,然后做些表单,柱状、条形、折线等各式样的图,比较无聊的。现代互联网化的决策支持,因为数据源的不同而变得有趣的多得多。

  比如我们曾经给公司人力资源部的招聘提供过一个产品,就是根据招聘要求利用微博数据精准寻找候选人。当然找人只是第一步,评估人才能力,行为习惯,行业薪资水平等等数据工作都能发挥作用。甚至可以收集多方数据来做员工流失预警。所以互联网数据基础上的决策支持是可以支持到企业方方面面的工作,比如在互联网公司中,决策支持类的数据应用就会有:

1. 产品优化决策

  产品经理最主要的工作就是抓到用户需求点,然后设计出产品/服务来满足它。虽然说需求点的发现往往是经验性的定性的工作,但数据工作依然可以在两方面给予优化决策:

  一是,给出市场中主流用户或某一分类用户的总体偏好和习惯,帮助产品经理加深对用户的理解。比如哪类用户在什么场景下喜欢听音频,在什么场景下喜欢看文字,在什么场景下打开视频的可能更高等等。这对于产品经理选择用户群的需求切入点至关重要。

  二是,评估可能的市场规模和增长曲线。

  新产品或新功能上线后,产品经理需要数据反馈来判断用户对自己设计的接受度。尽管PV、DAU等总体性指标是能反应用户对新产品/功能的态度,但因为是总体性的指标,它们的变化包含了太多的因素,比如推广力度、运营活动等等。所以要更精确的看产品,一般更好的选择是回访率、使用时长、频次、退出/跳出、转化等用户个体性指标的变化来衡量用户反馈。

  除了事后的监测,有时还会使用AB测试来检验不同设计的效果,以便提前获知用户偏好,降低新产品/功能的市场风险。这里就会涉及到与取数工作的配合,AB测试进行部署时要根据需要选择一定条件的两组类似用户推送测试内容,在用户不知情的情况下看实际效果。

2. 运营支持

  互联网产品的运营工作主要包括用户运营、内容运营、活动运营和客户服务。在每一块上数据工作都能给予基础性的支持。

  比如用户促活当中有一个重要工作就是防流失。这里就会碰到一个流失判断标准的问题。多长时间不来算流失?这个课题研究的关注点实际不是流失的那群用户,因为你从他们身上是取不出流失时点信息的,我们的关注点在那些很长时间没有来,但最终在自然状态(注:没有召回和活动影响)下又回来的非流失用户。从这群用户身上我们才能发现一个用户最多经历多长时间的沉寂后还有可能回来了,反过来长于这个时间就可以判断流失。在实际研究中,你会发现有用户在半年甚至更长时间后还会回来,这些从经验上来说肯定不是自然状态下回流的。于是判断是否自然状态又成为新问题,解决这个问题的一个数据来源是访问来源。

  当然算出流失标准时间界限对防流失来说并没有什么直接的作用,这个标准实际的用途是筛出流失研究样本,通过样本数据来得出流失预警模型,通过用户还活跃时的行为变化来预测他们流失的概率,进而提供给用户运营来做下一步工作的决策。

3. 市场推广反作弊

  反作弊与作弊是一个工作对,基本上是处在道高一尺魔高一丈不断相互学习相互克制的状态中。所以随着作弊方法的不断更新,反作弊和识别虚假用户的方法也累计了很多种。大部分的方法都是基于人工或机器学习经验建立起的判别模型。这些方法判别效率高,实施成本低,使用广泛,但也有致命缺点。因为这些方法都属于有监督的方式,形成的经验来自历史数据,如果渠道作弊方法不变,这些反作弊识别手段就会保持较高的有效性。但问题是当你识别渠道作弊并且拒绝为其付费时,渠道立刻就知道你存在针对当前作弊方法的识别手段,他们就会进行作弊升级。同时他们还会要求你拿出他们作弊的证据,如果你告之了他们,就意味着你透露了识别方法,他们就能更容易的绕过你原有的反作弊方法,实现魔高一丈。最后你必须要想出无监督的方法来实现反作弊。

  此外,销售、人力、战略决策等等都会是数据应用的舞台。

  而除了作为配角的决策支持外,数据应用也有当主角的时候。比如百度搜索风云榜,微博热词等等数据产品。还有更常见的是在数据工作的直接支持下呈现给用户的“猜你喜欢”“相关商品”这些数据类产品。

  从上面对数据工作的介绍中不知你是否体会到了数据工作“从业务中来,回业务中去”的本质或者说根本存在价值。如果你不是一个仅满足于完成数据内部技术处理工作的从业者,那你必须要对这个本质有清晰的认识。

  《数源思维》一书将会是很好的选择,点此链接可在博文视点官网查看此书。
                     图片描述
  想及时获得更多精彩文章,可在微信中搜索“博文视点”或者扫描下方二维码并关注。

                       图片描述

0
0
查看评论

刚走上工作岗位的程序员——如何看待业务和技术

大家都很清楚,现在的学生就业压力大,为什么?单位都要求招有工作经验的员工,但是如果大家都只招有工作经验的员工,我们从学校里走出来的“书包屁孩”哪里来的工作经验呢!?所以啊,要端上一个饭碗本也不容易,但是等你好不容易抢到一碗程序员的饭的时候,是否感觉老鼠啃南瓜不知从何下手啊? 从笔者的经验来...
  • fzfengzhi
  • fzfengzhi
  • 2008-01-12 21:44
  • 5257

OA业务说明

OA业务说明 一、  什么是OA    OA是英文Office Automation的缩写,也就是人们经常说的办公自动化。办公自动化是20世纪70年代中期发达国家迅速发展起来的一门综合性技术。我们国家的OA经过从80年底末至今10多年的发展,已从最初提供面...
  • shizhan1881
  • shizhan1881
  • 2013-06-04 16:29
  • 2872

如何通过数据驱动业务发展

如何通过数据驱动业务发展 人人都是产品经理 百家号 09-07 13:33 本文根据刘立明在起点学院线下沙龙分享的课程整理而成,加入起点学院在线社员(或复制报名链接:http://t.cn/R53OsvD到浏览器中详细了解),即可观看...
  • javasunson
  • javasunson
  • 2017-09-07 14:52
  • 324

从IT匹配业务如何走向IT引领业务

从IT匹配业务如何走向IT引领业务一、IT规划的误区有朋友做CIO,要出IT规划。之前准备了许多,梳理了现状组织/岗位/职责、梳理了现状流程、梳理了现状IT系统建设/IT接口建设/数据标准建设,然后总结好现状的业务与IT结合的问题与空白建设,做了一份从IT组织流程建设、IT系统硬件基础设施建设、数据...
  • david_lv
  • david_lv
  • 2014-03-26 18:02
  • 7291

业务的本质是需求

我们常讲搞信息化的要业务为主,但业务究竟是什么呢,把企业的流程搞明白了,就是懂业务嘛!可是实际上企业的信息化依然还是成功率很低,这也代表了业务的观念有一定的偏差。         业务的本质依然还是需求,只是需求的一个分支,企业里搞管理的人都不是信息化专家,...
  • yutao051
  • yutao051
  • 2012-09-05 15:21
  • 1001

架构的本质是为了服务业务

CSDN:请先和大家介绍下您和目前所从事的工作,以及关注哪些技术领域? 郑然:我自从2009年加入百度以来,一直在网页搜索部从事搜索引擎架构相关的工作。 从最开始的大规模分布式索引建库系统到离线泛建库大数据分析架构相关的工作。近几年一直从事大规模服务治理技术的研发工作,设计并实施了轻量级的接口化和...
  • Guofengpu
  • Guofengpu
  • 2016-09-11 18:36
  • 378

从业务分析到系统建模、研发 基本方法论

APP分析过程在项目管理体系PMBOK中归属于项目范围定义(Define Scope)过程。从PMBOK的角度来看,在完成需求收集(Collect Requirements)后,需要对项目和产品的详细范围进行描述,清晰完整的项目/产品范围说明书有利于制定出具有良好执行性的WBS(Work Break...
  • adparking
  • adparking
  • 2016-12-06 10:29
  • 999

数据库设计(6)-提取业务规则

本文我们将回答三个问题。1. 为什么业务规则非常重要。2. 怎样识别业务规则。3. 如何修改关系模型并隔离出业务规则。 提取业务规则 什么是业务规则 业务规则描述了业务过程中重要的且值得记录的对象、关系和活动。其中包括业务操作中的流程、规范与策略。业务规则保证了业务能满足其目标和义务。 生活中的一些...
  • lmxmimihuhu
  • lmxmimihuhu
  • 2015-08-31 22:00
  • 738

怎样的数据报表才能将公司全部业务数据整合在一起

产品需求只有直戳用户痛点才能很好的被用户所接受,获得产品的成功。而作为数据分析师则要懂得根据不同部门的需求制定不同的分析报告,从而实现部门之间的有效沟通,提高效率。
  • huazhiyp88
  • huazhiyp88
  • 2017-04-21 17:35
  • 429

综合柜台业务基本规范

综合柜台业务基本规范   第一节 银行柜台核算基础   一、账务组织     银行的账务组织包括明细核算和综合核算两个系统。明细核算是详细的、个别的核算,是分户反映各科目详细情况的核算系统;综合核算是全面的、概括的核算,是按科目反映综合情况...
  • scorpio3k
  • scorpio3k
  • 2013-02-20 14:58
  • 2999
    个人资料
    • 访问:3927052次
    • 积分:56524
    • 等级:
    • 排名:第57名
    • 原创:1462篇
    • 转载:83篇
    • 译文:1篇
    • 评论:3786条
    博客专栏
    文章存档
    最新评论