写在前面:对象:所有数据 行为:模糊多样性而不是精确唯一性 追 求结果:相关性而非因果性
通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见。
a) 建模是一件非常重要且了不起的事情。原本很小的事情,人力可以统计,但是一旦数据变成海量,就需要总结出规律以便后继的工作顺利展开。
b) 信息预测系统就是一个很好的例子。比如股票走势预估系统、天气预报系统。
c) 随机采样这种预测办法已经几乎被淘汰出局了,我们有足够多的数据可以使用。
大数据是人们获得新的认知、常遭新的价值的源泉;大数据还为改变市场、组织机构,以及政府与公民关系服务。
最惊人的是,社会需要放弃对因果关系的渴求,而仅需要关注相关关系。也就是说只需要知道是什么,而不需要知道为什么。这就推翻了自古以来的惯例,而我们做决定和理解现实的最基本方式也将受到挑战。
a)建立在相关关系之上的预测是大数据的核心。
技术成熟度曲线:炒作周期,指新技术、新概念在媒体上曝光度随时间的变化曲线。
大数据也一样,量变导致质变。
有时候,我们认为约束我们生活的那些限制,对于世间万物都有着相同的约束力。事实上,尽管规律相同,但是我们能够感受到的约束,很可能只对我们这样尺寸的事物起作用。对于人类而言,唯一一个最重要的物理定律就是万有引力。但对于细小的昆虫来说,物理宇宙中有效的约束是表面张力。
a) 所以换位思考有的时候可以开阔你的思维。阶层不一样,需要考虑的事情不一样。
当我们拥有海量即时数据时,绝对的精准不再是我们追求是主要目标。
a) 需要把握的是大方向。即是说,用俯瞰力,看到事情的发展方向。
b)“大数据”通常用概率说话。
c)“大数据”不需要也实现不了精确性。
d)数量规模变大的时候,确切的数字已经不那么重要了。
e)If you have too much data, then good enough is good enough.
数据化意味着我们要从一切太阳下的事物中汲取信息,甚至包括很多以前认为和“信息”根本不搭边的事情。
大数据时代开启了一场寻宝游戏,而人们对于数据的看法以及对于由因果关系像相关关系转化时释放出的潜在价值的态度,正是主宰这场游戏的关键。
马诺奇防线:看似表面坚固,实际毫无价值的东西。
不是随机样本,而是全体数据。
a)采样会失去数据细节,而生活中有趣的事情正是藏在细节之中。
样本选择的随机性比样本数量更重要,这种观点是非常有见地的。
无论是针对一个小团体还是整个社会,多样性是有额外价值的。
大数据的简单算法比小数据的复杂算法更有效。
a)大道至简。
item-to-item collaborating filtering
通过找到一个现象的良好关联物,相关关系可以帮助我们捕捉现在和预测未来。
相关关系可以提供新的视角,并且视角都非常清晰。
莫里的导航图,大数据最早的实践之一。
大数据的核心:挖掘出大数据库中独有的价值。
数据化:把现象转换为可制表分析的量化形式的过程。数字化:吧模拟数据转换成用0和1表示的二进制码。
量化一切,数据化的核心。
http://books.google.com/ngrams
现实挖掘:通过处理大量来自手机的数据,发现和预测人类行为。
ReCaptcha:数据再利用的成功典范。
a)思维转换之后,两件本来是需要花费更多人力物力的事情融合成互利的一件事儿。
不同于物质性的东西,数据的价值不会随着他的使用而减少,而是可以不断地被反复处理。
数据的价值是其所有可能用途的总和。
a)使用方式:基本再利用+数据集整合+寻找“一份钱两份货”(可扩展数据)+数据的折旧值+数据废气+开放数据
b)有效使用数据比凭空瞎猜好得多。
根据所提供价值的不同来源,分为种大数据公司:数据本身(获取大数据)、技能(分析大数据)、思维(从大数据中找价值点)。
a)思维这块,是三个中最有潜力价值的。
b)数据非常之多,而且具有战略重要性,但是真正缺少的是从数据中提取价值的能力。
c)思维不受限制,才可以做到只考虑可能性,而不考虑所谓的可行性,早一步看到不曾被看到的潜力。
d)大数据的先驱们通常都有着交叉学科的背景。
e)三者兼备的成功公司:Amazon 、google
如果你想成功,你就不应该成为一个普通的、可被随意替代的人,你应该成为稀缺的、不可替代的那类人。
大数据思维:一种意识,认为公开的数据一旦处理得当就能为千百万人急需解决的问题提供答案。
黄金般的直觉:知识退化成骚乱的主管臆想,那时太阳神经从的感情引起的营养不足。
聪明而灵活的小公司能享受到非固有资产规模带来的好处,低成本地传播他们的创新成果。数据不能被占有但是可以被授权,数据分析能在云处理平台上快速而低成本的进行,而授权费则从数据带来的利益中抽取一小部分。
新版的柏林墙?
除了对隐私和倾向的不良影响,大数据还使得我们冒险把罪犯的定罪权放在了数据手中,这实际上是一种滥用。
大数据带来的威胁:1)如果所有人的信息本来都已经在数据库里,那么有意识地避免某些信息就是此地无银三百两。2)在大数据的环境下,进行交叉验证很容易,所以匿名化在大部分情况下也是不可行的。
数据独裁:我们将生活在一个没有独立选择和自由意志的社会,在这里我们的道德标准将被预测系统所取代,个人意志收到集体一直的丛集。简单地说,会被大数据禁锢在可能性之中。
消费者没有义务去了解自己想要什么。
管理规范的变革:
1)从个人许可到让数据使用者承担责任。
2)个人动因vs预测分析
3)大数据算法师崛起(外部算法师+内部算法师)
4)反数据垄断大亨
凡事过去,皆为序曲。大数据不是标准答案,只是参考答案而已。
在大数据的世界中,包括创意、直觉、冒险精神和只是野心在内的人类特性的培养显得尤为重要,因为进步正是院子我们的独创性。
当怀有谦恭之心,铭记人性之本。