《决战大数据》读书笔记

这段时间在梳理这几年工作有什么沉淀下来和所得时，发现自己总是容易陷入细节，不能很好地拎出一条主线来，也不知怎么拔高一个层次或角度来梳理这几年的数据分析工作。

幸好的是当你心中有所困惑的时候，总是有优秀的前行者留下了他们的足迹和经验，可以供你借鉴和参考。《决战大数据》这本书在某种程度上就帮我规范了一个思路和框架。有很多概念帮我提升了认知角度。

【读书笔记是在Word文档中整理的，贴到博客后发现缩进和层级前的符号不能正确显示，有一点点错乱。ennnn,我就不浪费时间去修改了，逻辑结构和层级结构大致还是在的。有兴趣的还是要去读原文，不要图快餐。各人解读角度不一样，要解决的问题不一样，收获也会不一样。读书还是得要有愚公的精神，脚踏实地慢慢来。】

 

《决战大数据》读书笔记：

1、    忘掉大数据？什么才是大数据？

（1）    大数据的力量来自触类旁通的关联。

不是用数据来证明工作中的盲点，而是具备预测和开创新机的能力。

大数据时代，最核心的特质是“用数据寻找新机会”：赛马数据案例。

（2）    只有实效的数据才是正道。

我们要的不是数据的量，而是有“质”的量。

（3）    如何让数据成为商业的利器？

    我们需要一套具有商业敏感度的数据决策框架。让企业看的准，知道做了什么是对的、什么是错的进行判断。快速的数据反馈可以让每个决策的误差得到适时地修正。

    让数据真正从“看”到“用”，让用数据成为构建企业生产力的重要部分。

    让DT战略深入到企业的每个角落，使数据从生产、收集、使用、分享到反馈变得简单易用。（DataTechnology）

    让DT战略落地还要注意数据的稳定、准确、时效和有效实施。

    阿里巴巴经验：人和事是分不开的。企业要成为数据化企业必须要构建文化。“混、通、晒”及“存、管、用”两套内功是让一家数据化企业的数据流动起来的关键。

（4）    锻造数据力和思考力的合力

很多时候，我们欠缺的不是解决问题的方式，而是定位问题的能力；

我们应该思考，有没有数据可以改善我们的盲点；我们该如何学会用‘假定数据是可以获取的’来重新思考周围的一切。

当这种数据化思考成为你的‘直觉’时，就能够把数据的力量和思考的力量融合在一起，产生出新的无与伦比的合力了。

2、    如何从数据化运营到运营数据？

（1）    数据十诫：

    好的问题，答案就在里面。

    让数据(Data)成为科技(Technology)，惠及更多人。

    以‘假定数据是可获取的’去思考问题

    建立数据的数据，才有进步。

    利用数据拿到更有用的数据。

    让人做人擅长做的事，让机器做机器擅长做的事。

（2）    为什么很多人只会谈大数据，而不会做大数据？

从收集到使用的大数据价值链出现了问题。

从收到用的螺旋式循环，只有先数据化运营，才能运营数据。

用数据的人不知道大数据从哪里来，做数据的人不知道大数据如何使用。用的人不敢用，因为大数据的真实性；做的人不知道怎么用，因为大数据的复杂性。结果导致，数据量越来越大，却越来越无法有效的使用。

（3）    大数据从来不是免费的午餐

    大数据的来源是多种渠道的，偏倚、随机的误差总是存在的。大数据也会夹杂着虚假信息，大数据的量很大，但有用的信息不一定多，甚至还会破坏核心信息。而且大数据的情况下，会把一些问题或噪音放大。

    数据的存储、备份和管理是需要成本代价的。

    就算数据已经成功应用起来，形成了一条商业链条，但是随着科技的发展，不能保证后续还会有这样的数据来源供其持续发展，可能数据链消失了、断了、失效了。比如从Web时代到手机时代的数据主要来源变化，比如手机系统升级对数据获取的权限要求更严格了。

（4）    人才的断层

（1）    大数据面临的最大问题，就是人。人才的断层，收集数据的人不清楚未来使用数据的人要做什么，这是目前大数据的一大关键命门。

（2）    如何应用大数据？公司最高层管理者对大数据的期待是什么？

衡量大数据创造的价值最直接的标准就是，在经营上它为你赚了多少钱，带来了多少实际的利润提升。

但是对于公司最高层管理者，他对大数据的期望是什么呢？是对比使用了数据后，业务的转化率从%到%的提升吗？

    数据建模是数据使用的关键环节。

数据建模，就是根据以往的经验，从中寻找到一些潜在的业务规则，然后把这些规则和业务经验结合起来去解决问题。（案例，基于场景的购买决策、基于搜索的商品推荐）

    模型数据从何而来？

模型创建者和使用者专业能力和知识背景不同，使二者之间出现信息不对称的情况。创建模型的人不确定这种模型在实际应用中效果好不好，而使用模型的人也不知道该怎么去反馈使用的结果，导致信息的不对称越来越严重。

    公司的每个层级和功能部门都有一个断层，他们对数据的期望、价值内在的衡量都不一样。讲到数据价值时没人能给出一个合理的定位，原因就在于几个关键问题没有区分清楚。

一是要明确这是谁心里的数据价值，投资人、管理者、中层、数据分析师，他们心中对数据的价值自然不同；二是要明确数据的分类，不同类型的数据所产生的价值各不相同。

（5）    更主动的管理，更多的创新

（1）    运营数据

从“用数据到养数据”的过程，从数据化运营到运营数据的一个循环。要使大数据产生真正的商业价值，我们要关注的内容并非4个V那么简单，而应该将焦点放在如何真正让数据落地之上，即从数据化运营到商业管理能力的提升。（4个V，海量的数据规模Volume、快速的数据流转和动态的数据体系Velocity、数据类型的多样性Variety、巨大的数据价值Value）。

（2）    数据化思考—问题就是答案

    西方式的思考着重于系统性分析，因此对于一件事情的理解过程，大都是利用数据对之进行细分/归类、对比、溯源，以及从三者的动态趋势中去找出变化的规律。PIMA，

P：Purpose，目的。

I：Identification，定义，如果定义目的中的问题，对其进行细分。

M： Metric, 量化，参照前面的定义寻找可量化的目标。量化了后，才能从趋势和对比中判断出做什么可以更好。

A：A，评估，执行后，评估什么做对了、什么做错了。

东方式的思考着重于探寻事物的本质，追本溯源。

    要溯源，一切答案都得从问题开始。好问题（Deep Question）可以使我们离答案更进一步。对一件事情的认知，要看你是否具备了用问题解决问题的能力。

在知道自己的思考有盲点的情况下，即便问题问得不好也并不丢人。但如果自视甚高，什么问题都不问，盲点注定会相伴一生。我曾见识过一位顶级CEO，其厉害之处就是，凡事都说，“我不懂，麻烦你再解释一下。”

    最重要的是思考，尽管你懂，但如果在问问题、看问题的角度上没有扩宽视野的话，想解决问题依然很难。你不动，它不动，而且它会避开，你只能寻找破绽再出击。你一碰，它就有答案。“问题”是用数据来拿数据，而“问手”是用一个问题引出另一个问题。

在大数据的商业环境里，要即懂数据，又懂商业，还要拥有一套好的思维方法，而数据化思考正是这样一个崭新的事物。

当我们想知道问题的答案时，就要首先学会如何问对问题，因为一个好问题会引发出很多答案，这是一门艺术。

答案不重要，思考的角度才重要。要习得一套巧妙的数据化思考方式，三分靠想法，七分靠实践。

3、    大数据的本质就是还原用户的真实需求

（1）    思考数据的价值时，可以从三个维度来考虑。

首先，你能否清楚地识别(Identify)用户的身份？

其次，你能否搞清楚收集的数据对你的价值(Value)是什么？

最后，收集数据时的场景(Situation)是什么？

（2）    识别，让似是而非的行为数据串联起来。

    企业有多大的能力去识别一个“碎片化了的个人”是一个巨大的考验和机会。现在很多人同时拥有手机、PC、Pad等多个数码设备。

不同的网站，收集到的数据是不同的，数据的价值也千差万别。是否知道用户是谁，决定了企业数据收集行为的意义大小。

（3）    价值，企业价值VS客户价值

    数据收集的价值包含两个维度：一方面，你能否衡量这个数据对企业产生的价值—你需要筛选记录那些对企业自身有帮助的数据，即企业价值。另一方面，你能否衡量这个数据对顾客的价值—这个数据如何帮助企业对客户提供更好的服务，即客户价值。

    从企业价值来看，数据收集实现的是企业资源的合理分配。如，把推荐系统做得更好，让更多的用户可以有更高的概率找到他们想要的商品，从而提高商品的购买率，为企业创造更大的经济效益。

从客户价值来看，数据收集实现的是顾客体验的提升。如，便捷的搜索引擎可以使顾客更容易的找到他们所需要的商品，创造更优质的购物体验。

    数据提供的价值，从不同维度看就有不同的结果，数据的价值的确要分是从谁的角度出发的。当谈大数据价值的时候，第一点要注意的就是角色。

如果以客户价值为核心，那么思考的角度和研究后采取的做法是…，如果以企业价值为核心，那么思考的角度和研究后采取的做法是…

（4）    场景，你知道当时所有的场景吗？

    大量的碎片化的数据，噪音，让事实串联行为本身变得很困难。

    当我们把这些枯燥的数据串联起来时，就一定能代表事实吗？

（5）    还原是一个瞄准器

    数据的本质就是还原，这是收集元数据的关键方法。

    你有多大的能力知道哪些数据是同一个用户的，这是企业首先必须解决的问题。然后再去关注，收集到的数据的量这么大，广度这么宽，价值在哪里。数据的价值必须来自场景。

    对于消费者数据的收集，其中一个瞄准器就是你能否还原用户购买行为的场景。为什么场景如此重要？场景是不是被准确的表达了？场景是否会成为一件事情的背景，用来还原整件事情？（假期场景、堵车场景、ANDROID手机场景、手机系统和兼容性场景、用户起床到睡觉、移动和非移动的时间场景等）

    用观察用户忠诚度的框架，如RFM模型来做收集数据的瞄准器，提供一个收集数据的维度，什么数据和场景能更好的看到R，F，M？

更深化的数据连接使海量数据经过提炼更真实地还原事实，使我们运用数据科技去解码未来的需求成为可能。

（6）    【数据化思考】CEO们关心哪三个数据

    以数据分析师的身份来思考问题，换位思考，分析报告需求方会关注什么数据，是长期，还是短期？风险最大还是一般的？需要注意什么事项？对方的评价标准里有什么概念是需要转化成指标的，比如“踏实”、“好”不可量化的评价词？他关注这块事情是希望做什么，后续会有什么动作或实践，是公司价值层面的，还是客户价值层面的？等等

    作为一名数据分析师如果你不把自己的分析与当下结合，是没法进步的。自信是对的，但思考更重要。答案不是结果，方法才是。

4、    “活”的数据才是大数据

（1）    什么是‘死’数据？什么是‘活’数据？如何激活‘死’数据？

答案：把数据用起来。

从基于已有数据进行“分析-推荐-反馈-再推荐”的闭循环过程。

多样的闭循环方式打开了大数据之门，而进入循环的关键就是：从解决问题出发。

在数据的自循环中，有两个核心的关键点：一是“活”做数据收集，另一个是“活”看数据指标。“活做”：不要局限于只收集自己用户产生的数据，还要把“别人”的数据收集过来进行综合分析；“活看”：企业不要局限于已有的数据框架，应该结合用户需求的不同场景来灵活应用收集到的“活”数据。

（2）    “活”做数据收集，抓住相关性

    跳出既定思维的框架，从相关联的行业和业务中去搜集能够为现在所用的数据，找到能够更好地佐证企业现有业务决策和发展的数据。

    如果没有直接的用户数据可以观察，你观察什么数据？答案：去观察行业内对这个数据最敏感的那些人。

（3）    “活”看数据指标，动态地使用数据

    把数据激活，从静态数据变成动态数据，必须要用场景来验证。/例，阿里巴巴基于用户在不同场景中不同表现而做出的18个性别标签。每个人在不同的场景下其行为特点会不一样，结合场景应用数据就是“活”用数据。/例，亚马逊使用动态模型做推荐，相比于“历史的你”，更相信“现在的你”。

    对于用户购买行为的场景，我们大都无法判定它的产生到底是因为长期积累的性格多一点，还是受今天心情的影响多一点。把数据激活，必须要用场景来验证，静态数据是没有用的，动态的观察数据更能准确的反映用户的信息和需求。

    但是，用户在做一个比较重要的购买决定时，真实性别、真实职业以及一些描述个人的静态数据对于企业来说就更具有参考性了。对消费者来说，购物就是决策，凡是决策，都要对比、细分、溯源、看趋势。所谓的冲动消费，就要分析购物当天的场景了。

    看清这个数据本身的局限是什么，数据为用户体验改善了什么，活数据的运用解决了什么问题或开创了什么机会。

（4）    【数据化思考】别再做“碰巧游戏”

    好的分析师相当于市场解码器—军师

具有商业意识，能从枯燥的数据中看到市场发展密码的本事，能从数据变化中预测到商机，懂得用什么数据来驱动公司实现经营目标，而绝不会单凭交易量就决定商品策略。

    评估一个新生电商平台的竞争力，你会观察什么数据？

平台是双边市场，除了卖家流量，还有优质卖家也是至关重要的指标。此阶段商业竞争最核心的影响因素是人气，而非实质交易量。新加入的卖家的增长和交易量趋势、老卖家的交易量趋势。

    组装你的数据仪表盘

数据信息的梳理过程。前端行为数据(访问量、浏览量、点击率、站内搜索等，反映用户行为的数据)、后端商业数据(交易量、投资回报率、客户终生价值等侧重于商业的数据)。

将行为数据和商业数据对接起来时，大家就会比较关心网站的用户群。

5、    无线数据，大数据的颠覆者

（1）    无线数据正在将数据变成“噪音”

无线数据收集的两种形式：WAP（手机的浏览器），APP。

APP数据收集的两种方式：一是收集用户联网时请求服务器的记录(实时回传)；二是在将用户的行为数据记录下来后，适时地传给网站(延时回传)。

（2）    在两份数据都存在的情况下，如何衡量PC数据与无线数据的关系？

保证PC和无线两份数据的完整，通过用户体系将两份数据关联起来，在分析的时候用彼此的融合来还原用户的行为。

（3）    多屏思维下的电子商务

    高效准确的收集

建立一套面向多操作系统、多版本、自动、可灵活配置的用户行为获取系统。

    培养数据分析师的多屏思维

先派出精干的数据分析师小团队去探索无线数据的场景，发现无线场景下的各种“坑”，为清晰的数据分析打下基础，从而更好的还原用户的行为，以便分析在多屏环境下的电子商务。

    数据仓库用更合适的模型框架来存储数据，以便应对海量的无线数据。

    “多屏+移动端口”是未来数据创新的孵化器

数据化运营角度： 云是计算，端是应用。

运营数据的角度： 云是“存储+管理”，端是传感器。

（4）    【数据化思考】样本的偏见

    他们的样本是怎么挑选的？有哪些用户没有反馈问卷或调查？

    样本数量是否足够和是否平衡的问题

    样本采集的时间

    抽样时询问方式导致的偏见。

    大数据相信全量数据，而非样本；是分析得出，而非抽样获得。

6、     数据分类与数据价值，什么才是你的核心数据？

收集大量数据，更需要的是对数据进行分类、存放和管理。从数据角度来说，估值就是通过不同的维度去思考数据的价值。只有基于对数据的分类和对数据价值的不同认识，才能去对数据做筛选。

如果连有多少种数据都不知道的话，很难描述数据被收集后到底如何进行筛选，也不知道哪一个数据更有价值，更不知道哪一个数据需要更安全的处理，甚至不知道在它的生命周期中做备份的策略是什么。

（1）    数据分类为什么如此重要？

    数据的分类需要视不同的场景而定。

不同场景下对用户进行深入的比较和分析。数据在不同场景会产生不同的价值，有些数据可以在场景下成为运营指标，做决策用；有些数据可以对未来进行预测，有些数据交叉结合后可以成为商品推荐的参考等；所以，一个好的数据从业者必须要对各个数据的价值和稳定性洞若明火。

    要对数据分类和管理过程有一个标准化、精细化的规定。

这次用数据效果好，下次能复现吗？中间哪个数据的贡献大？比例如何？

（2）    数据分类的4大维度

管理数据的过程能不能分解？能不能区分哪些元素是比较重要的？哪些是可替代的、不可替代的？从数据分类的角度，可以分为以下4种：

    按照是否可以再生的标准，分为可再生数据、不可再生数据。

    按照数据所处的储存层次来看，可以分为基础层、中间层和应用层。

基础层通常与原始数据基本一致，存储最基本的数据，尽量避免失真；中间层基于基础层加工的数据，通常也被认为是数据仓库层，根据不同的业务需求和主体来进行存放；应用层针对具体数据问题的应用。

    如何解决数据的冗余和管理的混乱问题？

基础层必须统一，这是最基本的数据。如果公司的业务相对单一且成本压力较大，建议集中式管理；如果公司的业务量大，则可由多个数据团队进行分散式管理和应用，以保证基础层单位有最高的灵活性。

    按照数据业务归属看，可以分为各个数据主体，即将数据按照不同的业务主体分门别类地进行归纳。如在平台型电商可以分为交易类数据、会员类数据、日志类数据等。

    按照是否为隐私来区分，分为隐私数据和非隐私数据。

通常的管理方式是对数据的隐私级别进行分层，数据从安全的角度可以进行两种类型、四个层次的数据分层。

两种类型：企业级别、用户级别。

四个层次：公开数据、内部数据、保密数据、机密数据。

（3）    数据的5大价值

在大数据时代，越能够还原用户真实身份和真实行为的数据，就越能够让企业在大数据竞争中保持战略优势。

    识别和串联价值

识别的价值是锁定你目标的数据。将用户多账号、多屏、多设备、登陆不同页面的行为串联起来产生串联价值的数据。

如何知道日常生活中哪些是很有价值的识别和串联数据呢？

能够辨别关系和身份的数据都是很重要的。

    描述价值

描述数据是一种标签的形式存在的。

描述数据最好的一种方式就是分析数据的框架，在复杂的数据中抽象出核心的点，让使用者能够在极短的时间里看到经营状况，同样，又能够让使用者看到更多他想看的细节数据。

分析数据的框架是对一个数据分析师的基本要求—基于对数据的理解，对数据进行分类和有逻辑的展示。

    时间价值

    历史数据。时间是代表历史的一个必然维度，通过对时间的分析，能够很好的归纳出一个用户对于一种场景的偏好。知道了用户的偏好，企业对用户做出的商品推荐也就更加精准。

实例：电商首页的焦点图，一个商品类目推荐的演进路线/周边产品。

    即时数据。互联网广告领域的实时竞价（RTB，Real Time Bidding），是基于即时的一种运用。用户进入某个场景后，DSP平台回来竞价，对用户现实场景进行数据推送，用户看到的广告不是预先设置好的，而是在这个具体的场景中通过实时竞价出现的。

    预测价值

    对于某个单品进行预测。

预判和准确度的预估。有多大可能性会喜欢A？哪些商品会成为爆款，作为主推，哪些不能？选择哪个商家来推？能不能卖到一定交易额？

    对于经营状况的预测，并能够用预测的结论指导公司的经营策略。

作为团队的负责人，怎么判断现在的经营状况和目标之间存在着多大的差距？拆分后的指标对目标的贡献度分别是多少，应该对这些指标制定出对应的哪些产品策略呢？又该如何分解目标，进行日常监控呢？

    产出数据的价值

几个数据组合在一起或对部分数据进行整合后产生的新的价值。

例：好评率、星钻等级、与描述相符、物流速度等衍生出的新的指标店铺评分系统（DSR） ，用来综合评价卖家的服务水平。 

例：通过对评论数据进行关键概念抽取，产生新的概念指标。

（4）    【数据化思考】用傻瓜的视角去观察

    很多惯性思维会让我们变成真正的傻瓜，因为你永远不会去思考“中国有没有狮子”这个问题。

    如果我们用傻瓜的视角观察问题，我们又应该用何种视角去做判断呢？

建议是：不要以短期利益为重，眼光要放长远，利及众生。

    “大智若愚”。若愚：我知道‘我不知道’。‘对不起，我不懂，你能再重复一遍吗？’让问题在很清晰的思路下去做执行，这是依托在非常仔细的观察和解答完所有疑问后才做决定的‘傻瓜习惯’。‘别欺骗自己’。

7、    从用数据到养数据

（1）    企业一定要知道数据能解决什么问题再去规划和收集。

对于企业来说，到底要收集什么样的数据？收集多少数据？收集数据的边界在哪里？数据有生命周期，有的生命周期很短（如婴儿的身高体重），有的生命周期很长（如性别年龄）。

（2）    数据应用因小而美。

“小”不是指数据量，而是指应用的目标很具体。

按照小角度切入的想法设计数据应用，就可以做得具体而快速，而且可以避免因原材料的变化而导致数据缺失的问题。

（3）    把数据放进“框”中

在大数据的背景下，必须考虑数据之间的关联性。一个单独的数据是没有意义的，要把数据放在一个“数据框架”之中，才能看出存在的问题。

（4）    如何用框架来做决策

想要解决的问题越复杂，框架也就越复杂。但是，决策最重要的前提是要从小角度切入，从“小”做起。

4步走的方法：

    首先确定有什么问题，从解决问题的角度出发去收集数据。

    把收集到的数据整理好，放入一个“数据框架”中。

这个框架是用来帮助决策者做决定的，让决策者用框架更清楚地看到数据与决策之间的关系。

    看框架与做决策的关系。

如果发现数据框架与决策不能匹配，必须返回到第2步。如，A公司在决定与导航网合作有三种决策选择—完全不合作、部分合作、全面合作。

    根据决策行动，然后检验行动是否达到目的。

如果行动后发现根本没有达到目的，就要检讨整个链条，寻找问题出在哪里。是数据问题？框架不对？决策不对？还是有数据没有考虑进去？

（5）    养数据，重要的数据战略

“用数据”更多的是一种方法论，而“养数据”则是一种数据战略，是基于深入业务理解的更高层次的商业决策。

（6）    【数据化思考】远离“或”选择

当我们面对两难的问题时，一定要从压抑中迅速跳出来思考：可不可以不是“或”，而是“也”。

如果把这样的思考应用在我们的成长中，很多就是受“或”的概念影响，将自己不成功的原因归结为某件事没有做好，他们不会想到失败的结果可能是因为自己没做过另外一件事。

8、    数据的盲点，负面数据的力量
分析师对人和事物基本规律的诠释。分析问题千万不要从分析大数据开始，而是要从人、世界、产品或者商业行为最基本的认知着手。
如何在数据中找出关键点，什么样的数据才是关键？
（1）    数据盲点
在数据中，盲点分为两类：一类是物理盲点，另一类是逻辑盲点。
物理盲点：数据库中不存在这样的数据，即企业没有收集到应该收集的数据。这类问题的产生通常是数据收集策略出了问题。
逻辑盲点：有数据但没有被很好地发掘出来。在分析数据时，相关从业者要对数据抱有敬畏之心，不可轻易放过任何一个可能产生问题的点。
（2）    小偷思维
面对数据的盲点，正能力思考告诉你怎么做可以到达成功的终点，负能量思考则告诉你怎么做才不会失败。
正能力量思考拉低了你想象中通往成功的这条路的困难度。负能力量思考拉高了你的警觉线、敏感度和敬畏心，时时对环境中出现的异常因素保持敏感，常问问为什么会发生，意味着什么，及时地发现问题，及早的规避风险。
所以，正能力思考和负能量思考，拉低了一条线，拉高了一条线，框住了一条可行的通往成功的道路。
（3）    数据盲点的价值
“假定”这件事，一般是所有误判的源头。你会因为之前一次的失败经验而不敢再接近，错误的经验让你不断的错失机会、犯错误。
经验会成为盲点，有一个重要的原因是你没有注意到环境变化的趋势。
（4）    【数据化思考】为什么数据会骗人：常态、时态与变态
观察就是在事物内部找到其相对性，而且是从共同性里面找出相对性。
常态，时态，变态。