对冲基金很需要:K、Q在哪里?
原创 QIML编辑部 量化投资与机器学习 前天
全网TOP量化自媒体
越来越多的对冲基金和高频交易公司在使用
本文不是广告,是一篇软文
1
号称最强内存数据库之一:KDB
我们先从KDB说起。
Kx系统是由前Morgan Stanley 技术专家Arthur Whitney于1993年创立的,其目的是为了解决传统关系数据库技术无法跟上这些不断上升的数据量。Kdb+是Kx公司开发的一款64位跨平台高性能数据库产品(一个基于有序列表,面向列的内存式存储数据库)。Kdb+也号称最强内存数据库之一。列式存储的特性,使得对于某个列的统计分析操作异常方便。在延迟性上有着苛刻要求的金融领域,Kdb+可谓一家独大。当然在优秀的性能背后,费用也是杠杠的!
再来聊聊来龙去脉吧:
在开发K语言之前,Arthur Whitney在APL工作过很长时间,先是在I. P. Sharp Associates与Ken Iverson和Roger Hui共事,后来在Morgan Stanley开发金融应用程序。在Morgan Stanley,Arthur Whitney帮助开发了APL的变种A+,以方便APL应用程序从IBM大型机迁移到Sun工作站网络。A+有一个更小的原始函数集,并且是为了速度和处理大量时间序列数据而设计的。
1993年,Arthur Whitney离开了Morgan Stanley,并开发了K语言的第一个版本。与此同时,他成立了Kx系统公司来商业化该产品,并与UBS签订了独家合同。在接下来的四年里,他利用K为UBS开发了各种金融和交易应用程序。
K的另一个特点十分简洁:大约200KB,包括进程间通信 IPC、Web界面和图形用户界面。
该合同于1997年UBS与 Swiss Bank合并后终止。1998年,Kx Systems发布了Kdb+,这是一个建立在K.kdb上的数据库。此后,K和Kdb+共同开发了多款金融产品。Kdb+/tick和Kdb+/taq是在2001年开发的且发布于2004年。Kdb+包含(内置通用开发语言)了Q语言:Q语言是向量化函数式交互式脚本语言。一种融合了底层K语言和ksql函数的语言。
KDB的架构:
底层
两种解释型通用编程语言:K和Q
K解释器由约1200行ANSI C代码实现。
Q语言是由K语言实现,在没有效率损失的前提下提供了更好的代码可读性。
K函数和Q函数在加载时预编译为字节码,其执行效率远高于一般的解释型脚本语言。运行于windows、linux/solaris/macosx的32位或64位环境下
中间层
同时具备内存数据库和磁盘数据库的时间序列数据库:Kdb+
大概就是这么个东东,具体大家可以自行了解。公众号不再陈述。
2
市场态度
根据一些招聘人员表示,在伦敦为Kdb+系统工作的顶级承包商每天可以挣到1万英镑!
GQR Global Markets的电子交易系统招聘人员Olly Thompson表示:“Kdb+的很多工作都是基于项目的,而且报酬也非常高。原因是没有太多Kdb+的开发人员。”
一位在Kdb+工作的美国银行高级量化开发人员也表示:这是一个精挑细选的群体。“熟练的Kdb+工程师很难得,熟练的Kdb+量化工程师更是少之又少。这是因为Kdb+及其相关语言不在没有在学校里教授,只有到了实际工作岗位。他们才会意识到自己需要学习这门语言。如果某家对冲基金胡总投行想要一个熟练的Kdb+量化分析师,他们就必须找一个在其他地方接受过培训的人。
美国银行驻纽约的开发人员Nick Psaris:
https://github.com/psaris
正在努力推广Kdb+和Q的使用,他为想学习这门语言的人写了一本关于Q的书籍:
然而,也有人站出来说:了解K更有助于更深入地理解 Q,因为任何Q函数都是在K中实现的!
然而,大多数人不是通过自学来了解Kdb+,而是通过总部位于爱尔兰的First Derivatives来了解Kdb+的。因为First Derivatives是Kx的部分所有者。
First Derivatives有一个为期两年的研究生培训项目。它还开设了免费的Kx介绍性讲习班,首席营销官Kathy Schneider表示,这些讲习班已经被超额预订。Schneider说:“我们已经增加了额外的时间来满足对在线直播课程的需求。”
https://kx.com/connect-with-us/kx-academic-program/
即将开始的培训课程:
https://kx.com/connect-with-us/training/
项目结束后,受训人员将与银行和其他客户合作提供咨询服务。你可能会在Morgan Stanley工作6个月,在高盛工作6个月,在苏格兰皇家银行工作6个月等等。First Derivatives试图让大家参与一些有趣的项目。他们许多客户都是顶级的投行和对冲基金。最终,受训者可以自由地直接为银行工作,如JPMorgan、美国银行和Morgan Stanley都在寻找掌握Kdb专业技能的人才。
即便如此,找到工作也不容易。技术和交易领域的招聘对象基本都需要硕士水平。如果你符合标准,你将接一个面试。如果这些都进行得很顺利,你将通过一个Kdb/Q测试。
参加培训是值得的,因为业内人士表示:随着越来越多的Quant精通Kdb+,它的使用将从一个数据存储转变为一个强大的分析工具。许多大型投行(例如:Morgan Stanley)已经这么干了!
拿Hadoop比较的话,Kdb+将运算分析分散到多个服务器上,Kdb+的优势在于通过优化使用CPU和RAM,尽可能从每台机器上获得更多的性能。同时,Hadoop对所有类型的数据都很很适用,除了超大规模的tick数据库。因为,鉴于投行和对冲基金需要庞大的tick数据,Kdb+越来越多地成为他们选择的工具。
目前使用kdb+比较知名的金融企业有:
国际:巴克莱资本(BATS)、Morgan Stanley(Horizon)、JPMorgan(TicDB)、Citadel、Squarepoint Capital等。
国内:深交所,海通证劵,华泰证劵等。