大数据金融

一、大数据的提出和演化

1、互联网用户发出的搜索请求、访问请求、交易记录等数据信息都准确的记录在各类服务器的日志上。因此互联网的广泛普及积累了巨大的数据信息，使大数据分析过程中的数据采集成为可能，大大降低了数据采集成本，提高了数据信息记录的真实性和可靠性。

2、云计算是基于互联网的新兴计算方式，共享的软硬件信息资源可以通过这种计算方式按需提供计算机和其它终端试备。云计算服务主要是通过提供通用的在线商业应用实现的，云计算技术改变了以往数据分散保存的每个独立的计算机的中的状况，改变了数据的存储与访问方式，为大数据的集中管理和分布式访问提供了必要的场所和分享渠道。

3、物联网、网络社交及智能终端的普及。

4、大数据：大数据是指数据的集合，其大小已经超出了现有典型数据库获取、存储、管理和分析数据的能力。

大数据的五个特征：体量大（Volume）、价值密度低（Value）、在线（Online）、速度快（Velocity）、类型多（Variety）五个特征联系紧密、协同交替。

a. 数据体量（Volume）巨大：一般数据库的大小在TB级别，而大数据的起始计量单位在PB（1 PB = 1024 TB）级别，有的甚至跃升至EB、ZB级别，包括采集、存储和计算的量都非常的大。

b. 数据类型（Variety）繁多：有结构化、半结构化及非机构化数据，具体表现为图片、地理位置信息、网络日志、视频、音频等，其中个性化数据占绝大多数。多类型的数据对数据处理能力的要求更高，已冲破了之前所限定的结构化数据的范畴。

c. 处理速度（Velocity）快：在数据量非常庞大的情况下，也能够做到数据的实时处理与分析，这与传统的数据挖掘技术有着本质的不同。数据体量的增大对数据的处理速度、时效性提出了更高的要求。而大数据技术正好能满足这一需求，区别于传统的数据挖掘的显著特征。

d. 价值密度（Value）低：随着互联网以及物联网的广泛应用，信息感知无处不在，大量信息的价值密度很低，尽管数据量大，类型多，处理速度快，但真正有价值的数据却很少。如何结合业务逻辑并通过强大的机器算法来挖掘数据价值，是大数据时代需要解决的问题。

e. 数据是在线的（Online）：即随时能调用和计算的，这是大数据区别于传统数据最大的特征。数据只有在线，即数据在与产品用户或者客户产生连接的时候才有意义。

5、大数据统计分析具体概括为可视化分析（analytic visualizatons）、数据挖掘算法（data mining algorithms）、预测性分析（predictive analytic capabilities）、语义引擎（semantic engines）

a. 可视化分析（analytic visualizatons）：这是用户最基本的要求。因为可视化分析可以直接呈现大数据特点，并且非常容易为读者所接受，使得数据分析解读如同看图说话一样。

b. 数据挖掘算法（data mining algorithms）：这是大数据分析的理论核心部分。基于不同数据类型和格式需要多种各异的算法才能更科学地展现出数据本身具备的特点，才能深入数据内部，挖掘出数据应有的价值。与此同时，基于大部分数据的时效性特征，数据挖掘算法对于迅速处理数据而言至关重要，否则大数据的价值就会难以衡量。

c. 预测性分析（predictive analytic capabilities）：大数据分析最核心的应用之一，该分析从海量数据中勘探出某些特征，在此基础上建立科学的模型，并随后通过将新数据导入模型以预测未来可能的结果，

d. 语义引擎（semantic engines）：大数据时代下数据类型更加多样化，非结构化、半结构化数据的出现带来了挑战，需要用新的技术加以解决。”语义引擎“能够从”文档“中智能提取信息，实现更好的用户体验和精准营销，提高数据分析的效率。

6、数据挖掘与存储：对应云技术的运用和升级：