金融行情数据抓取系列文章——金融资产行情简介

以前做过一段时间和金融数据处理有关的工作，这个系列的文章大体是对前面工作的一个总结。全球金融市场的金融资产种类非常多，有的品种对实时性要求会非常高，比如外汇，股票等，有的品种对实时性要求可能没那么高，比如OTC市场的一些交易品种。

对于一家想要创业的公司或者自己需要使用数据来分析做策略的人来讲，花钱买这些数据会非常昂贵，用程序来抓更实用一些。但用程序来抓取数据有一个最大的问题是很难做到实时性，所以抓来的数据用来做一些非实时性的策略分析还行。或者拿来放在自己的网站对外展示展示也还凑合，这里要注意有些数据在没有授权的情况下，放在自己的网站对外展示是侵权的，比如港交所的数据，英国FTSE的指数等。

本系列文章涉及到的数据基本都是从其他网站抓的，并没有使用一些开放的API，不是说没有这样的API，好多网站也提供，相当于他们做聚合，然后转包，也是收费的，费用也不低。还有一些数据会直接使用一些软件对外提供的接口，例如使用MT4抓取外汇,CFD的数据等。

一般做网络爬虫都是使用python，它本身提供了大量的库，使用起来非常方便。由于对python不是很了解，所以本系列文章都是使用nodejs去抓取数据的，开发起来一样很快。

写这些文章的目的不是想说抓取程序是怎么设计的，因为绝大多数时候都是直接调用其它网站的HTTP请求，也没太多好讲的，我想写的主要是这些网站HTTP请求需要的参数，以及返回金融数据的格式怎么理解，希望对金融数据不了解但又需要做这方面工作的人有些帮助。