肯硕（Kensho）揭开华尔街百年赚钱秘诀

从2014年开始暴涨的A股市场再次牵动了亿万股民的心。到2015年8月，A股已经历了数天内暴涨暴跌的过山车式的变化。除了打听可能的内部消息和采用传统的技术分析外，对亿万普通股民而言，还有什么更好的办法可以提前预知某些行业甚至个股在某个事件和时间段内的走势，比如阿里巴巴和工商局对淘宝商品的争议对哪些股票会有影响？社保基金进入股市对哪些股票有影响?

这个答案在美国已经有了。这就是一款基于云计算的财经软件“沃伦”（以巴菲特命名），它背后的秘密就在于普通股民通过扫描世界市场上可以查询到的、直接或间接影响金融股票市场的一切可能的、实时变化的各种宏观和微观大数据，诸如药物审批、经济报告、货币政策变更、社会事件等，利用极其复杂的统计学、人工智能、机器学习、大数据算法、数量经济学理论和模型，推演出与某个事件相关联的特定类型股票（甚至是个股）最可能的变化趋势及其概率，最后通过人人都可以理解的自然语言表达出来。

这款软件的设计和研发企业国内译成“肯硕”（英文Kensho），其原意从佛教禅宗而来，意为“见性”。“Ken”是日语“看”的意思，音同汉语的“看”，“sho”为日语的“自然、本质”之意。这个日语禅宗的原意为“透过现象理解事物的本质”，而这也正是这家企业的联合创始人，32岁的哈佛大学数量经济学博士，丹尼尔•纳德勒及27岁的MIT计算机硕士，彼得•克鲁斯卡尔（PeterKruskall）的共同人生哲学信念。

在散户无法像专业金融机构掌握大量市场上不易获得的数据时，如果说预测A股市场变化“基本靠猜”的话，美国股市则“基本靠算”，即传统来说，华尔街的投行公司要预测一些股票的未来走势，必须依靠其掌握的研究调查的海量数据，利用其高薪雇用的量化分析专家团队（即通常所谓的顶尖金融工程师和数学分析师们），夜以继日地花上几天甚至一周的时间进行计算，才能做出可能的概率及趋势预测来。比如说通过分析全球油价走低事件对全球各国，特别是美国，甚至是中国股市的影响，判断相关联的股票基金的走势，进而在短期交易中大赚特赚。而掌握这种数据及其计算能力是金融行业赚钱的绝密武器，他们也绝不会公开这些秘密，这也造成了通常所说的“富人越来越富”的现象。

丹尼尔•纳德勒兴趣爱好广泛，跨越多个领域，如信贷衍生产品定价、诗歌、古希腊哲学、禅宗，他还曾经与同伴合作开发了一款防止噩梦的手机软件。他自封作家、创业家和未来主义者。就读哈佛期间，丹尼尔曾出任美联储访问学者。他发现这家全球最具权威的金融监管机构，竟然还在依靠Excel进行经济分析（这跟笔者的经历类似，笔者2010年为美国证监会做信息技术咨询师时，想劝芝加哥分局的一个资深分析师客户放弃Excel，转用数据库技术，他都抱怨无法迅速学习新技术）。丹尼尔把这些不可思议的经历告诉了他正在谷歌公司实习的

MIT同学克鲁斯卡尔，克鲁斯卡尔说“这也太不禅宗了”。2013年5月，他们聘用前谷歌的工程师团队在波士顿成立了肯硕金融公司，其理念就是运用专业知识（经济、社会、科技等），利用各种影响金融市场的社会事件进行量化计算，最终预测受影响的个股何时上涨下跌，从而决定买入还是卖空，最终将预测结果以最通俗易懂的方式交到大众手中。每个散户都可以操作这款软件，像谷歌搜索一样，在文本框里输入你想知道的投资问题，由系统给出最简洁的答复。

◆ ◆ ◆

研发解答投资问题的软件

在创业之初，创业团队利用其在谷歌积累的大数据和云计算经验，做了一个初步的算法模型。两个月后，中东、北非地区政局剧烈动荡，导致国际油价飙升至100美元每桶，超过华尔街多数分析师预计的最高值。接着埃及军方又解除前总统穆尔西职务，镇压伊斯兰极端分子，动乱持续升级。由于埃及是全球石油贸易的关键中转站，国际原油价格剧烈波动。当时华尔街所有人都在非常疯狂地通过各种算法评估这些动乱给股市带来的影响。这个简陋的算法模型也开始派上用场并开始展现其深刻的意义。

要研发一款模拟人工取代华尔街顶级金融工程师们多年工作的软件，第一步就是要让软件的功能尽可能地模仿他们的工作流程。这包括收集、整合和初步分析各种关联历史数据。第二步利用大数据的关联度分析方法对上千个变量进行运算，找出其中有意义的关联关系和模式。第三步，针对实时发生的特定事件，运用模型建立的相应的关联模式和算法逻辑进行模拟计算，从而预测出某类股票或特定个股在一段时间的走势。第四步，把预测结果与实际发生的结果做比对，根据其成功和失败概率，对模式进行相应调整，直到预测概率非常接近实际结果。第五步，把这个成功的模块储存在云计算的整个模式中并分类，用于未来特定事件的趋势预测。肯硕团队除了经历这些标准的步骤，其成功还源于以下一系列独特的要素：

1.对纯数学的驾驭能力

创始人之一的丹尼尔•纳德勒的父亲是一位桥梁工程师，其专长就是用声波技术来查找桥梁和潜艇微小裂纹，而丹尼尔•纳德勒从小就在父亲的指导下专门学习“纯数学”。这种数学不是像我们一般学校里教的按部就班的算术，更不是什么奥数，而是类似中国古代的“算学”，即通过对自然、社会现象的细致洞察和思考，经过逻辑抽象分析找出其中的模式规律，并用自己发明的计算方式表达出来。最高境界就是看到行云流水，便可用近似的数学方式来表达其变化和预测变化趋势。顺便说一句，这种完全无功利驱动、不为考试和升学而做的“算”与“术”是中国古代数学位居世界同时代领先水平的根本原因，也是真正的数学之美。一个强调会做题、算得快、一切为了应付考试的文化是无法培养出这种能力的。丹尼尔就是在这种教育下，还是个孩子时就能勾勒出异常复杂的永动机流程想象图。每天这种独特的数学教育加上几个小时的古希腊文学习，为他上哈佛学习数学和西方经典打下了坚实的基础。

就读哈佛数量经济学博士学位期间，在设计金融信用衍生产品的定价机制的同时，他还研究诗歌、禅宗，是个典型的跨界通才。这些背景对他用禅宗的思维、数学的方法、经济学的专业知识来解决金融问题提供了独特的视角和切入点。

2.创业团队复杂多样的综合背景

另外两个合伙人的背景也特别值得一提。丹尼尔的MIT哥们，彼得•克鲁斯卡尔，计算机硕士，任谷歌的资深云计算分析师，特长在社会信息技术应用，即用云计算和大数据技术来解决社会问题，信仰禅宗。华裔布兰登•刘是哈佛大二计算机专业的学生，另一个社会信息技术天才式的人物。其他几个团队成员都是从硅谷和顶尖投行挖过来的资深软件工程师，经验和技能涵盖统计、金融工程、人工智能、自然语言编程、高速搜索算法、机器学习等。而这其中的一些特殊方法如“映射归约”（MapReduce）编程模型和谷歌的BigTable分布式数据存储系统等都发挥了积极的作用。

3.开放大数据环境

有了金融算法模型，还必须有大量的符合模型需求的经济、社会、特定行业变化等数据来测试其效用。开放的大数据环境是算法创新成功的必要条件。无论你的算法多有创意，逻辑关系设计得有多巧妙，理论上能解决多复杂的现实问题，你最终需要多个有代表性的数据集，涵盖资本市场变化，各种政治、经济、军事、科学、技术、商业等社会事件，天气现象、消费者数据等，来测验你的算法模型的可行性和精准度。从二维的时空角度看，有了某一类或某公司股票的历史影响数据（过去30年哪些因素影响了这些股票的波动）和现实数据，即那些正在发生的社会事件可能会影响这类股票在未来几周内表现的数据，就可以将其编程后输入模型做运算了。一个大数据开放的社会则更容易让你从政府、智库、企业甚至个人那里依法获得这些数据，并受到法律保护，而不用担心竞争对手找各种理由给你添乱。肯硕可以无偿或有偿地从美国联储局、证监会和银行协会那里获得宏观经济及其微观影响的数据和相关股票的变化数据史，可以从华尔街各企业（如彭博）那里找到或买到社会事件影响当时股票变动的数据，可以从各财经数据经纪商那里获得各种财经历史大数据，也可以从谷歌这种开放引擎轻松免费地找到自己想要的各种经济研究数据等。这种数据开放环境也为其金融算法模型成功提供了有力的支持。

4.独特创新方式

创新团队先在2012年创建了一个叫SeasonalOdds的网站（我查过，已经关闭，估计是华尔街的投行们要求其按投资合同关闭），在这里，任何散户就像家里有了彭博股票交易机，可以通过互联网和云服务，进入自己的投资账号，对其股票投资组合做风险分析和最优化处理。而其背后才是公司用其算法模型产品来做测试（包括“股市季节变化周期策略”、可放大的“风险/回报分析地图”“即日股票胜算概率指南”“社交媒体的个股综评图”和“聪明的现金流动图”（大投资机构每天花钱在哪些股票上建仓等颠覆性的产品）。网站上曾一度有超过7000只股票、债券、股指，出自美国纽交所、美交所和纳斯达克。网站会对你输入的投资问题如“朝鲜发射导弹后，哪只股票涨得最快？”进行运算后，告诉你雷神公司、美国通用动力公司以及洛克希德马丁公司的股票。又如“世界油价持续下跌，哪家股票受影响最大？”，网站系统也会在几秒钟内告诉你。另外，网站还会对个股每个月和每季节的走势趋势进行分析。而散户一次交易只需付20美元。而最后经过不断修正，大部分散户的投资收益在15.7%，远高于S&P;市场回报8.6%的成绩。此模型还可以为6500万个复杂的投资问题找到答案。丹尼尔预测，沃伦的题库将不断扩大，到2014底，能解答的问题将上升至1亿个。

这些大数据和云计算的创新成功很快震动了整个华尔街，因为这些颠覆性的产品带来的“金融民主”可能最终使大批白领高级分析师失业。彭博社和路透社估计：“长期垄断的金融数据市值达到260亿美元，沃伦的出现绝对可以撼动华尔街的垄断地位。”最终，肯硕还是被华尔街投行大佬高盛（1500万美元融资）、谷歌风投、恩颐投资等公司（1000万美元融资）招安。其数据处理结果目前会有所保留，软件会租给各投行的基金经理，宝贵的数据仍将留在一个小圈子里，网站也下了线。

案例点评：肯硕的创业成功，与其泛泛地说是成功运用大数据技术，还不如说是非凡的数学洞察力在金融领域运用的胜利。很难想象时下我们引以为豪的中式数学教育和落后于中国几条大街的西方数学教育，培养出的人才如此不同，造就出的创新能有如此不凡的成果。大数据算法是深度分析、关联和挖掘的基础。谁能创造出基于市场、行业和客户业务细化需求的独特算法，谁就能用杠杆撬动和改变这个市场。这个案例特别值得国内做大数据分析产品的企业借鉴。

原文发布时间为：2016-02-26

本文来自云栖社区合作伙伴“大数据文摘”，了解相关信息可以关注“BigDataDigest”微信公众号