Data mining-资金流入流出预测（一）

最新推荐文章于 2021-05-24 17:40:20 发布
最新推荐文章于 2021-05-24 17:40:20 发布
阅读量919 收藏 5
点赞数 1
分类专栏： 数据分析与挖掘 machine-Learing&py tensor etc. 文章标签： 数据挖掘 python 大数据 数据分析
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44307764/article/details/108128864
版权

文章目录

介绍

此数据挖掘项目基于阿里云天池赛题：赛题链接
参考github项目进行学习：github项目链接

赛题简介

具体的赛题介绍可去官网查看，这里只简单总结一下。官方提供了2013年7月~2014年8月28041位用户余额宝的申购赎回信息，我们需要通过数据挖掘的手段从这些数据中挖掘出有效信息，并预测2014年9月的每一天申购和赎回的总量。
理解了大概是个什么任务之后，我们的目标就很明确，要尽可能提高预测精度。

数据准备与探索

这是数据挖掘的第一步，我们需要整理好我们的数据，并做一些简单的分析。大概有以下三个步骤:
1. 时间序列图
2. 数据分布可视化
3. 数据的相关性及独立性分析

时间序列图

这个很好理解，通过时间序列图可以很好的看到我们要观察的数据的趋势。
在python中，我们有很好的封装库画出时间序列图。比如，matplotlib，seaborn。而Seaborn其实是在matplotlib的基础上进行了更高级的API封装，使得作图更加的简单，漂亮。因为是时间序列图，有需要的话还可以借助datatime库构造时间戳。

数据分布可视化

主要还是用到上面提到的库。这里简单介绍一下会用到一些的图。除了常见的直方图，密度曲线图之外。还有箱型图，小提琴图。

箱型图

箱型图包含五个要素，分别是上限，上四分位数，中位数，下四分位数，下限。其中上四分位数是指 把所有数值由小到大排列并分成四等份，处于三个分割点位置的数值。同理，那么下四分位数就是处于第一个分割点位置的数值。而第二个分割点显然就是中位数。这三个分割点也可以记做Q1,Q2,Q3。
在这里插入图片描述
确定四分位数有两种方法，分别是基于（N+1）的方法, 一种是基于(N-1）的方法。这里举一个用N+1计算四分数的例子：

数据一共有六项: 7, 15, 36, 39, 40, 83。
1*（n+1）/4= 7/4 =1.75，Q1在第一与第二个数字之间， 　
2*（n+1）/4 = 3.5 Q2在第三个和第四个数字中间，
3*（n+1）/4= 21/4 =5.25, Q3在第五与第六个数字之间，
　 所以：
Q1 = 0.75 *15+0.25 7 = 13，
Q2 = （36+39）/2= 37.5，
Q3 = 0.2541+0.75 *40 = 40.25.
四分位距IQR=Q3-Q1 = 27.25，
那么上限=Q3+1.5IQR = 81.125
下限 = Q1-1.5IQR = -27.875
那么不在上限与下限之间的数被称之为异常值

最后，总结一下就是，箱型图是是一种显示一组数据分散情况的统计图。

小提琴图

在这里插入图片描述

关于小提琴图可以这样简单理解，箱线图展示了分位数的位置，小提琴图则展示了任意位置的密度，通过小提琴图可以知道哪些位置的密度较高。

而关于95%置信区间的介绍，这篇回答很不错。95%置信区间的理解

变量间的相关性与独立性分析

首先我们需要了解一下在统计学上有以下几种变量

  1. 定类变量 Norminal Data 可以分类 （ = 和 ≠ ）

  2. 定序变量 Ordinal Data：可以分类（ = 和 ≠ ），可以排序（> 和 <），但不能（+ 和 - ）
    例如文化程度可以分为大学、高中、初中、小学、文盲

  3. 定距变量 Interval Data ：可以分类（ = 和 ≠ ），可以排序（> 和 <），可以（+ 和 - ）
    注意：定距变量没有绝对零点。例如华氏温度：10，20，30，华氏度40不是20的两倍热

相关性分析

对于不同变量之间的相关性分析有以下方法。
在这里插入图片描述

变量的独立性检验

占个坑，之后填。

代码实战

官方提供了五张表，分别是：用户信息表（ user_profile_t

最低0.47元/天 解锁文章
Mr.kun
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据挖掘项目-资金流入流出预测
weixin_46891364的博客
08-18 593
记录一下我参加DataWhale的数据挖掘实战项目的学习过程。 时间是从2020年8月18号—2020年8月25号晚11：59分截止； 项目来源自天池大赛-资金流入流出预测。 赛题简介 蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出，面对如此庞大的用户群，资金管理压力会非常大。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地预测资金的流入流出情况变得尤为重要。此届大赛以《资金流入流出预测》为题，期望参赛者能够通过对例如余额宝用户的申购赎回数据的把握，精准预测未来每日的资金流入
资金流入流出预测-挑战Baseline 数据集-数据集
03-30
资金流入流出预测-挑战Baseline的数据集
【资金流入流出预测】baseline LSTM
wwqnmdhmp的博客
08-19 744
import pandas as pd from sklearn.preprocessing import MinMaxScaler import numpy as np data = pd.read_csv('user_balance_table.csv') data_1 = data.loc[:,['user_id','report_date','total_purchase_amt','total_redeem_amt']] data_1 = data_1.groupby(by='report_d
资金流入与流出时间序列预测(EDA)
weixin_45720616的博客
08-18 982
数据探索式分析 导入必要的包 import pandas as pd import numpy as np import seaborn as sns import matplotlib.pyplot as plt import datetime import pandas as pd import warnings warnings.filterwarnings('ignore') 利用pandas读入主文件(user_balance_table.csv)数据 df=pd.read_csv('user_
关于金融数据的模型预测调优
safdfgdh的博客
05-24 789
关于金融数据的模型预测调优 选取002581未名医药的股票作为实验数据，分别选取2018年1月1日到2020年1月1日的数据作为训练集，2019年1月1日到2021年1月1 日的数据作为测试集，选取2021年4月23日当天的数据作为predict来检验模型预测情况。设定涨幅大于0.3%，0.2%，0%的界限。 1、（此时训练集维度是4） 下面是运行情况。 2021年4月23日到2021年4月23日的数据为： 预测可得4月23涨和跌的概率相差不大 2、将训练集维度扩展为8，..
天池比赛：资金流入流出预测
Sendren的博客
08-20 3109
赛题解读 赛题介绍：https://tianchi.aliyun.com/competition/entrance/231573/introduction 数据集介绍及下载：https://tianchi.aliyun.com/competition/entrance/231573/information 阅读完赛题介绍后，总结了一下这个赛题的目的就是预测未来一个月，每天余额宝总的的转入金额和转出金额。是一个回归问题。 下载解压数据集后有五个表格。提供了很多的信息，一开始看到这么多信息让我无从下手啊！目前这
资金流入流出预测-挑战Baseline-数据集
03-30
标题 "资金流入流出预测-挑战Baseline-数据集" 暗示了这是一个关于金融数据分析的任务，目标是预测资金的流入和流出情况。这通常涉及到时间序列分析、统计建模以及机器学习技术。在这个数据集中，我们可以期待找到与...
Learning Data Mining with Python - Second Edition
05-04
earning Data Mining with Python - Second Edition by Robert Layton English | 4 May 2017 | ASIN: B01MRP7VFV | 358 Pages | AZW3 | 2.85 MB Key Features Use a wide variety of Python libraries for ...
Data Mining - Mehmed Kantardzic
02-21
Data Mining - Mehmed Kantardzic-Data Mining - Mehmed KantardzicData Mining - Mehmed Kantardzic
资金流入流出预测pdf（三只熊）（资金流入流出预测大赛答辩 2015天池）
11-28
资金流入流出预测pdf（三只熊），天池比赛得奖选手ppt，分析题目到设计过程，算法实现。
大规模资金流入流出大数据预测TOP3与4答辩ppt
12-23
大规模资金流入流出预测Top3与Top4答辩pdf，天池大数据预测答辩ppt，时间序列预测，svm与CNN、大学生服务外包比赛
资金流入流出预测-数据集
03-29
新人赛练手
数据挖掘方法与股价预测(转)
03-11
近些年来，数据挖掘发展迅速，已成为机器学习，统计学等诸多领域的研 究热点，数据挖掘方法也已成为大数据时代最热门的技术。伴随着人们的深入 研究，已经产生了很多不同种类，功能强大的数据挖掘算法，同时众多数据挖 掘工具也应运而生，使得数据挖掘变得更为简单，高效，也因此极大地拓展了 数据挖掘的应用领域，股票市场的价格预测就是其中之一，很多公司和研究机构 都致力于用数据挖掘技术去研究股票价格的走势。
Data Mining - The Textbook.pdf
07-03
Data Mining - The Textbook（英文原版，Charu C. Aggarwal, 2005）-- 数据挖掘教科书，Charu C. Aggarwal编著
天池学习赛-资金流入流出预测Task1
weixin_46281427的博客
08-20 628
天池学习赛-资金流入流出预测Task1 赛题链接： https://tianchi.aliyun.com/competition/entrance/231573/introduction 数据探索与分析 将数据下载下来后，查看数据所包含的字段机器意义，考虑需要建立额外哪些字段，删除哪些字段才能更好预测结果，首先先查看现有字段可以给出哪些信息。 data_balance.head() 将单条数据按照天分组聚合： total_balance = data_balance.groupby(['date'])[
资金流入流出预测（上）（阿里云天池大赛）
qq_27328197的博客
03-27 891
文章目录前言比赛介绍采用不同的模型预测以及结果分数prophet模型1数据加载2数据探索与预处理2.1数据特征探索2.2按照时间聚合目标值total_purchase_amt和total_redeem_amt2.3目标值可视化2.4准备目标值3模型训练与预测3.1模型导入与拟合3.2模型预测3.3预测结果可视化3.4预测结果提交还有其他的不同的模型 （待续）总结 前言 什么是AI？ The theory and development of computer systems able to perform
【资金流入流出预测】 数据探索
wwqnmdhmp的博客
08-19 990
import pandas as pd import numpy as np import warnings import datetime import seaborn as sns import matplotlib.pyplot as plt warnings.filterwarnings('ignore') %matplotlib inline plt.rcParams['font.sans-serif'] = ['KaiTi'] # 指定默认字体 plt.rcParams['axes.unic
天池比赛-资金流入流出预测-挑战Baseline--反思
ximingren的博客
02-14 1595
起因：距离上次第一次进行预测已经经过了十几天了。虽然经过了这么多天，但是比赛成绩没有什么成效...因此在这个特殊的日子来反思一下，想一下接下来要怎么弄。回顾历程：1.第一次上手预测是用了GBT模型，10个属性作为特征，tBalance和yBalance来拟合模型，评分较低6.7。2.第二次和第三次记得不是很清楚了，但是第三次的评分是这么多次的预测来最高的，28分。貌似是用第一次时间序列预测的结果，...
资金流入流出lstm
最新发布
11-29
资金流入流出预测是一个时间序列预测问题，可以使用LSTM（长短期记忆网络）进行建模。LSTM是一种递归神经网络，可以处理和预测时间序列数据。以下是使用LSTM进行资金流入流出预测的步骤： 1. 数据预处理：将原始数据转换为适合LSTM模型的格式，包括将时间序列数据转换为监督学习问题、归一化数据等。 2. 构建LSTM模型：LSTM模型由输入层、隐藏层和输出层组成。输入层接收时间序列数据，隐藏层通过记忆单元和门控单元来处理序列数据，输出层将隐藏层的输出转换为预测结果。 3. 训练模型：使用训练数据对LSTM模型进行训练，并调整模型参数以提高预测准确率。 4. 预测未来资金流入流出：使用训练好的LSTM模型对未来资金流入流出进行预测。 以下是使用Python和Keras库实现资金流入流出预测的代码示例： ```python # 导入必要的库 import pandas as pd import numpy as np from keras.models import Sequential from keras.layers import Dense, LSTM from sklearn.preprocessing import MinMaxScaler # 读取数据 user_balance_table = pd.read_csv('user_balance_table.csv') # 数据预处理 def prepare_data(data, n_in=1, n_out=1, dropnan=True): n_vars = 1 if type(data) is list else data.shape[1] df = pd.DataFrame(data) cols, names = list(), list() # 输入序列 (t-n, ... t-1) for i in range(n_in, 0, -1): cols.append(df.shift(i)) names += [('var%d(t-%d)' % (j+1, i)) for j in range(n_vars)] # 输出序列 (t, t+1, ... t+n) for i in range(0, n_out): cols.append(df.shift(-i)) if i == 0: names += [('var%d(t)' % (j+1)) for j in range(n_vars)] else: names += [('var%d(t+%d)' % (j+1, i)) for j in range(n_vars)] # 合并序列 agg = pd.concat(cols, axis=1) agg.columns = names # 删除缺失值行 if dropnan: agg.dropna(inplace=True) return agg # 归一化数据 scaler = MinMaxScaler(feature_range=(0, 1)) scaled = scaler.fit_transform(user_balance_table) # 构建监督学习问题 reframed = prepare_data(scaled, 1, 1) # 分割训练集和测试集 values = reframed.values n_train_days = 600 train = values[:n_train_days, :] test = values[n_train_days:, :] train_X, train_y = train[:, :-1], train[:, -1] test_X, test_y = test[:, :-1], test[:, -1] train_X = train_X.reshape((train_X.shape[0], 1, train_X.shape[1])) test_X = test_X.reshape((test_X.shape[0], 1, test_X.shape[1])) # 构建LSTM模型 model = Sequential() model.add(LSTM(50, input_shape=(train_X.shape[1], train_X.shape[2]))) model.add(Dense(1)) model.compile(loss='mae', optimizer='adam') # 训练模型 history = model.fit(train_X, train_y, epochs=50, batch_size=72, validation_data=(test_X, test_y), verbose=2, shuffle=False) # 预测未来资金流入流出 yhat = model.predict(test_X) test_X = test_X.reshape((test_X.shape[0], test_X.shape[2])) # 反归一化预测结果 inv_yhat = np.concatenate((yhat, test_X[:, 1:]), axis=1) inv_yhat = scaler.inverse_transform(inv_yhat) inv_yhat = inv_yhat[:,0] # 反归一化真实结果 test_y = test_y.reshape((len(test_y), 1)) inv_y = np.concatenate((test_y, test_X[:, 1:]), axis=1) inv_y = scaler.inverse_transform(inv_y) inv_y = inv_y[:,0] # 输出预测结果和真实结果 for i in range(len(inv_y)): print('Predicted: %.2f, Actual: %.2f' % (inv_yhat[i], inv_y[i])) ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值