大数据实战项目之金融客户流失预警

项目滑动窗口的概念

时间点 第6末尾

1-6 有数据

1------ 训练阶段
1-4 -> feature
5 -> label

feature + label 训练集 => model

2------ 验证阶段
相同逻辑
2-5 -> feature
6 -> label

model 2-5feature => 6prediciton

6prediction - 6label -> AUC ROC 验证 model 是ok

3------- 模型应用

3-6 feature
model
model + 3-6feature => 7prediction(未来)

项目落地思路
PC haitong_test.csv 原始数据
1 上传服务器
2 数据导入到hdfs中
3 inceptor 建表 将 hdfs 数据导入inceptor 数仓中
4 在 inceptor中 通过sql 加工原始表（根据特征联想的思路）
5 产生中间表、结果表
6 四个周数据 -> feature_table 一个周的数据 -> label_table
7 将 feature_table、label_table -> 导入到sophon中
8 sophon进行常规建模
9 模型优化

项目落地思路
PC haitong_test.csv 原始数据
手操作部分
1 上传服务器 linux 大数据平台 AIsophon winscp Xshell mobaXterm
2 数据导入到hdfs中

SQL脚本部分
3 inceptor 建表 将 hdfs 数据导入inceptor 数仓中
4 在 inceptor中 通过sql 加工原始表（根据特征联想的思路）
5 产生中间表、结果表
6 四个周数据 -> feature_table 一个周的数据 -> label_table
7 将 feature_table、label_table -> 导入到sophon中

sophon可视化建模部分
8 sophon进行常规建模
9 模型优化