Python金融数据挖掘_前言

《Python金融数据挖掘》

 

数据挖掘的概念

数据挖掘是数据库知识发现（Knowledge Discovery in Databases，KDD)中的一个重要步骤。

数据挖掘是指从大量数据中通过算法搜索隐藏于其中的有效信息的过程。

数据挖掘基于计算机科学、数学等相关的理论方法和技术手段，通过数据采集、关系化存储、高速处理等手段，对采集到的数据进行应用统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法，对已经预测或者推测出的规律进行验证，进而对还未发现的、隐藏的规律进行自动归纳、总结和发现。

数据挖掘算法一般以大数据为基础。大数据的特点通常可以概括为4V：

l总价值高/单位价值低（Value）：大数据具有单位价值低的特点，其中价值密度的高低与数据总量的大小成反比。以视频为例，一部1小时的视频，在连续不间断的监控中，有用数据可能仅有一二秒，但是这一二秒的数据，往往有着非常重大的价值。如何通过强大的机器学习和数据挖掘算法迅速地完成数据的价值“提纯”，是目前大数据背景下被广泛关注的热点问题。

 

l体量大（Volume）：从2013年至2020年，人类的数据规模将扩大50倍，每年产生的数据量将增长44万亿GB，相当于美国国家图书馆数据量的数百万倍，且每18个月翻一番。

 

l速度快（Velocity）：随着现代检测、互联网、计算机技术的发展，数据生成、储存、分析、处理的速度远远超出人们的想象，这是大数据区别于传统数据或小数据的显著特征。

 

l种类多（Variety）：大数据与传统数据相比，数据来源更广、维度更高、类型更复杂。相对于以往便于存储的、以文本为主的结构化数据，非结构化数据越来越多，常见的非结构化数据包括网络日志、音频、视频、图片、地理位置等信息，这些多型的数据对数据的处理能力提出了更高要求。

常见的数据挖掘算法可归结为以下四个方面：

1．关联分析：旨在找出所有能把一组事件或数据项与另一组事件或数据项联系起来的强关联规则（拉关系）。例如，如果你今天在淘宝或京东等大型电商平台购买了手机，那么你明天登录网站的时候，很可能会购买手机套、充电器、数据线等和手机使用相关的产品。Apriori算法是典型的关联分析算法。

2．数据分类：分类是指通过对数据集的学习获得一个映射函数，从而将未知类别的样本映射到给定类别中（贴标签）。例如，在银行的历史信用卡数据中，有按时还款的正常客户，也有不能按时还款的逾期客户。银行希望通过用户的基础信息及历史交易数据等，判断其是正常客户还是逾期客户（这个就是分类标签），从而提前甄别出逾期客户，以尽可能地降低逾期发生率。分类算法通常包括训练（即生成分类函数）和识别（即样品归类）两个阶段，典型的分类算法包括决策树、贝叶斯、神经网络、支持向量机等。

 

3．数据聚类：聚类旨在将数据集内具有相似特征的数据聚集成簇，从而使得同一个簇的数据特征尽可能相似，不同簇中的数据特征有明显的区别（找朋友）。聚类和分类算法的区别在于：分类任务中的训练数据集是有标签的，比方说正常/逾期，好/坏，Yes/No，True/False等，而聚类任务中的数据集则没有标签，只是根据特征的相似性将数据集聚集成不同的簇。比方说携程、去哪儿就会根据用户历史消费记录进行用户画像，总结出某一群体的共性，从而决定推荐的住宿酒店的档次、位置等属性。典型的聚类算法包括K均值聚类、K中心点、神经网络聚类算法等。

4 ．时间序列分析：是根据数据过去和现在的变化规律去预测未来发展趋势的一种数据分析技术（测未来）。时间序列分析任务一般是针对那些与时间变化相关的指标，算法的目标是发现它随时间变化的趋势，从而能够进行预测。在金融相关的宏观经济运行研究和管理工作中，经常要使用这时间序列分析来预测国民生产总值GDP，消费价格指数CPI等指标的变动情况。常见的时间序列分析算法主要包括简单移动平均、复杂差分整合移动平均、自回归等。