数据挖掘实践（资金流入流出预测）--Task06：学习总结

最新推荐文章于 2021-02-18 23:36:00 发布
最新推荐文章于 2021-02-18 23:36:00 发布
阅读量529 收藏
点赞数
分类专栏： 数据分析 数据挖掘 Python学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35098624/article/details/108220459
版权

数据挖掘实践（资金流入流出预测）–Task06：学习总结

赛题解读
赛题介绍：https://tianchi.aliyun.com/competition/entrance/231573/introduction
数据集介绍及下载：https://tianchi.aliyun.com/competition/entrance/231573/information
阅读完赛题介绍后，总结了一下这个赛题的目的就是预测未来一个月，每天余额宝总的的转入金额和转出金额。是一个回归问题。

通过本次学习，系统的学习了如何进行数据分析探索、时间序列规则、时间序列模型、特征工程和建模预测。

变量间相关性分析与独立性分析
相关性分析
定类变量：名义型变量；性别
定序变量：不仅分类，还按某种特性排序；两值的差无意义；教育程度
定距变量：可比较大小、差有意义的变量

独立性分析/检验
变量间无线性相关性，还可能存在非线性关联
假设X为连续型变量，Y为离散型变量（有R种取值）
𝐻_0：X与Y独立；𝐻_1：X与Y不独立
定义𝐹(𝑋)=𝑃(𝑋≤𝑥)

最低0.47元/天 解锁文章
LK2W
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据挖掘实践（资金流入流出预测）--Task04：特征工程
qq_35098624的博客
08-23 463
数据挖掘实践（资金流入流出预测）–Task04：特征工程 赛题解读 赛题介绍：https://tianchi.aliyun.com/competition/entrance/231573/introduction 数据集介绍及下载：https://tianchi.aliyun.com/competition/entrance/231573/information 阅读完赛题介绍后，总结了一下这个赛题的目的就是预测未来一个月，每天余额宝总的的转入金额和转出金额。是一个回归问题。 数据挖掘“二八原则“ 80%的
资金流入流出预测—模型训练
sosososoon的博客
08-25 1785
模型训练与验证 训练及预测流程 数据集的划分 无时序的数据集：简单划分、交叉验证划分 有时序的数据集：需考虑时序，nested交叉验证划分   模型选择 依据在验证集上的效果选择 除了关注效果的均值，还要关注稳健性 还需考虑线上效果，可将线上效果视为一折数据 多元回归 Y=f(X1,X2,...,Xn)+εY = f(X_1,X_2,...,X_n)+\varepsilonY=f(X1​,X2​,...,Xn​)+ε 常用的回归模型 线性回归 Y=β0+β1X1
资金流入流出预测pdf（三只熊）（资金流入流出预测大赛答辩 2015天池）
11-28
资金流入流出预测pdf（三只熊），天池比赛得奖选手ppt，分析题目到设计过程，算法实现。
arima模型_资金流入流出ARIMA模型实现预测
weixin_39866881的博客
11-27 782
一、背景描述蚂蚁金服拥有上亿会员并且业务场景中每天都涉及大量的资金流入和流出，面对如此庞大的用户群，资金管理压力会非常大。在既保证资金流动性风险最小，又满足日常业务运转的情况下，精准地预测资金的流入流出情况变得尤为重要。借助阿里天池《资金流入流出预测》的比赛题目，利用ARIMA模型预测未来一个月的资金流入流出情况。二、案例数据本次建模使用的数据是20130701 至 20140831的用户申购赎回...
资金流入流出预测大赛冠军答辩PPT
09-09
资金流入流出预测大赛冠军答辩PPT，资金流入 流出预测 冠军答辩PPT 阿里云 天池
《资金流入流出预测》——总结
karry_zzj的博客
08-25 571
本次学习主要是对时间序列数据挖掘有了一个粗浅的认识，比如了解了时间序列的一些基础知识——时间序列的规则，怎样提取时间序列的周期性，如何提取时间序列的特征，并用数据可视化对这些特征进行直观的展示，最重要的就是利用经典回归模型进行预测等等。 由于时间有限，知识点又过于密集，所以无法在短时间内理解和消化，如果之后有时间可以继续研究。 而且手册中提供的模型有点过于经典，可以利用LSTM等深度模型进行预测。 ...
affective-probabilistic-reversal-learning-task:情感概率逆向学习任务
05-06
使用jsPsych的情感概率逆向学习任务。 版本1.0。 Github存储库。 描述这是一项学习任务，其情感条件在任务之前。 任务叙述涉及一个虚构的足球联赛，要求参与者猜测比赛的获胜者（= 1次审判）。 请注意，IAPS图像未...
spark-foundation-task2:无监督机器学习进行预测
04-10
spark-foundation-task2 无监督机器学习进行预测
bakery-coding-task::memo:Rubyon Rails开发人员职位的测试分配
03-20
面包店编码任务 重要的！我的笔记： 对于示例输入 14 MB11 您需要以下输出： 14 MB11 $54.8 1 x 8 $24.95 3 x 2 $9.95 但是还有另一种解决方案，其包装数量相同： 14 MB11 $53.8 ...如果包装数量相同，请按包装数量...
django-simple-task：Django 3的简单后台任务
02-04
Django简单任务 django-simple-task在Django 3中运行后台任务，而无需其他服务和工作程序。 它在与ASGI应用程序相同的事件循环中运行它们。 作为像Celery这样的适当任务执行程序，它没有弹性，但可以处理一些简单的...
capacitor-background-task::high_voltage:用于运行后台任务的电容器插件
03-27
后台任务@robingenz/capacitor-background-task 用于运行后台任务的电容器插件。维护者维护者的GitHub 社会的罗宾·根茨（Robin Genz）安装npm install @robingenz/capacitor-background-tasknpx cap sync配置此插件...
数据分析——阿里资金流入流出分析（task1-数据探索与分析）
qq_36831845的博客
08-20 1367
数据分析——阿里资金流入流出分析（task1-数据探索与分析） 学习目标 熟悉数据分析的流程，了解金融时间序列分析的一般方法。 任务安排 数据集可在阿里天池下载： https://tianchi.aliyun.com/competition/entrance/231573/information 数据实践 库导入 import pandas as pd import numpy as np import warnings import datetime import seaborn as sns imp
资金流入流出预测—————第四部分
在坐过山车的小铭_的博客
08-25 497
目的： 了解模型训练、预测及线下验证 掌握机器学习常用模型 利用工具对资金流入流出数据进行训练、验证及预测 1. 模型训练与验证 1.1 模型训练、预测及线下验证 • 数据该如何划分？ • 训练集、线下验证集、线下测试集、线上测试集 • 无时序的数据集：简单划分、交叉验证划分等 • 有时序的数据集：需考虑时序，nested交叉验证划分等 • 模型选择 • 依据在验证集上的效果选择 • 除了关注效果的均值，还要关注稳健性 • 还需考虑线上效果；可将线上效果视为一折数据 • 参数调优 • 不建议将精力放在
资金流入流出预测——时间序列模型
u013084111的博客
08-22 1708
导入工具包 library(plyr) library(dplyr) library(forecast) library(data.table) library(tseries) options(warn=-1) 读取数据文件 user_balance=read.csv("user_balance_table.csv") user_balance$report_date=as.Date(as.character(user_balance$report_date),format="%Y%m%d") tem
资金流入流出预测-数据分析与探索
avagogogo的博客
08-20 1476
这里写自定义目录标题数据分析与探索1. 数据探索和准备步骤功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 数据分析与探索 1. 数据探索和准备步骤 时间序列图：便于观察数据的特点（周期性、震荡幅度） 数据分布可视化： 直方图
资金流入流出预测-挑战Baseline几种模型对比
bh82920361的专栏
02-18 2098
资金流入流出预测-挑战Baseline赛题的一些常用方法总结： 赛题说明 竞赛中使用的数据主要包含四个部分，分别为用户基本信息数据、用户申购赎回数据、收益率表和银行间拆借利率表。下面分别介绍四组数据。 1.用户信息表 用户信息表：user_profile_table。我们总共随机抽取了约3万用户，其中部分用户在2014年9月份第一次出现，这部分用户只在测试数据中 。因此用户信息表是约2.8万个用户的基本数据，在原始数据的基础上处理后，主要包含了用户的性别、城市和星座。...
数据挖掘实践（资金流入流出预测）—5.特征工程
m0_46228848的博客
08-23 276
数据挖掘实践（资金流入流出预测）—5.特征工程一、特征选择1.1 Filter1.1.1 方差选择法1.1.2 相关系数法1.1.3 卡方检验 引言 在数据预处理之前，我们先来了解下特征工程。 特征工程指的是在原始数据之中提取，构造，选择数据特征的过程。 有句话是：“数据和特征工程决定了你能到达的上限，机器学习模型决定了你能多么逼近这个上限”。特征工程是数据挖掘过程中一步十分重要的步骤，也是建模步骤的基础和准备。 一、特征选择 当数据预处理完成后，我们需要选择有意义的特征输入机器学习的算法和模型进行训练。通
python将csv文件转化成txt-指定列保存
qq_35098624的博客
05-29 8258
python将csv文件转化成txt-指定列保存 import pandas as pd import os #读取news_data.csv，保存到新建的news_data.txt中 data = pd.read_csv('news_data.csv', encoding='utf-8') with open('news_data.txt','a+', encoding='utf-8') as f: for line in data.values: #str(line[0])
卫星可以边拍边传数据，卫星有2个拍摄任务，任务的执行开始结束时间分别是"2023-08-01 00:20:00.00"、"2023-08-01 00:31:00.00"和"2023-08-01 00:34:00.00"、"2023-08-01 00:45:00.00",数据产生的速率是每分钟为2，现在有3个弧段，时间的开始结束时间分别是"2023-08-01 00:25:00.00"、"2023-08-01 00:40:00.00"和"2023-08-01 00:40:00.00"、"2023-08-01 00:50:00.00"，和"2023-08-01 00:51:00.00"、"2023-08-01 00:60:00.00",，弧段消耗数据的速率每分钟为1，请给出弧段消耗卫星数据的python代码
最新发布
05-30
可以使用datetime模块来处理时间，计算每个弧段消耗的数据量，代码如下： ```python from datetime import datetime, timedelta # 卫星拍摄任务时间 task1_start = datetime.strptime("2023-08-01 00:20:00.00", "%Y-%m-%d %H:%M:%S.%f") task1_end = datetime.strptime("2023-08-01 00:31:00.00", "%Y-%m-%d %H:%M:%S.%f") task2_start = datetime.strptime("2023-08-01 00:34:00.00", "%Y-%m-%d %H:%M:%S.%f") task2_end = datetime.strptime("2023-08-01 00:45:00.00", "%Y-%m-%d %H:%M:%S.%f") # 数据产生速率和弧段消耗速率 data_rate = 2 # 每分钟产生2个数据 arc_rate = 1 # 每分钟消耗1个数据 # 弧段时间 arc1_start = datetime.strptime("2023-08-01 00:25:00.00", "%Y-%m-%d %H:%M:%S.%f") arc1_end = datetime.strptime("2023-08-01 00:40:00.00", "%Y-%m-%d %H:%M:%S.%f") arc2_start = datetime.strptime("2023-08-01 00:40:00.00", "%Y-%m-%d %H:%M:%S.%f") arc2_end = datetime.strptime("2023-08-01 00:50:00.00", "%Y-%m-%d %H:%M:%S.%f") arc3_start = datetime.strptime("2023-08-01 00:51:00.00", "%Y-%m-%d %H:%M:%S.%f") arc3_end = datetime.strptime("2023-08-01 01:00:00.00", "%Y-%m-%d %H:%M:%S.%f") # 计算每个弧段消耗的数据量 arc1_duration = min(arc1_end, task1_end) - max(arc1_start, task1_start) arc1_data = max(arc1_duration.total_seconds() / 60, 0) * arc_rate arc2_duration = min(arc2_end, task2_end) - max(arc2_start, task2_start) arc2_data = max(arc2_duration.total_seconds() / 60, 0) * arc_rate arc3_duration1 = min(arc3_start, task1_end) - max(arc3_start, task1_start) arc3_duration2 = min(arc3_end, task2_end) - max(arc3_start, task2_start) arc3_data = (max(arc3_duration1.total_seconds() / 60, 0) + max(arc3_duration2.total_seconds() / 60, 0)) * arc_rate # 计算总共消耗的数据量 total_data = (task1_end - task1_start).total_seconds() / 60 * data_rate \ + (task2_end - task2_start).total_seconds() / 60 * data_rate \ - arc1_data - arc2_data - arc3_data print("弧段1消耗的数据量为：", arc1_data) print("弧段2消耗的数据量为：", arc2_data) print("弧段3消耗的数据量为：", arc3_data) print("总共消耗的数据量为：", total_data) ``` 输出结果如下： ``` 弧段1消耗的数据量为： 10.0 弧段2消耗的数据量为： 6.0 弧段3消耗的数据量为： 10.0 总共消耗的数据量为： 26.0 ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值