MathorCup高校数学建模挑战赛——大数据竞赛 赛道A 移动通信基站流量预测baseline

---

前言

本文给出2020年MathorCup高校数学建模挑战赛——大数据竞赛中的赛道A移动通信基站流量预测的baseline，这个题目的具体描述和数据集请见链接。
整个程序是用python写的，步骤包括文件读取、数据处理、特征构造、模型训练和预测、输出文件保存。读者可以在本文的基础上进行模型的提升。

一、简单分析

本文的训练数据有9G左右的大小，且特征字段是中文的，panda读取的时候需要注意。另外，训练数据中含有重复项，程序中直接删除了重复项只保留一个。关于日期字段，训练数据中的格式有两种例如“2018/3/26”和“018-4-09”因此需要分别处理，baseline中的程序使用的是通用的处理方式。需要注意的是，baseline的程序是将两个流量当作关于时间的函数，没有考虑时间序列特性，这里有很大的改进空间。但是如果考虑时序特性的话，不能直接使用程序中的交叉验证方法，这样会存在数据泄露，并且需要考虑对缺失值进行填充。

二、具体程序

1.引入库

import pandas as pd 
import numpy as np
from tqdm import tqdm
import os
import lightgbm as lgb
import warnings
from sklearn.metrics import mean_squared_error
from sklearn.model_selection import StratifiedKFold, KFold
import gc
import time

2.读入数据

博主将训练数据和测试数据全都重命名了，其实可以不用，这里读取必须要用gbk编码，这样才能读取中文。另外移植代码的时候注意路径匹配。

train = pd.read_csv('D:/mathorup/traindata.csv',encoding="gbk")
test1 = pd.read_csv('D:/mathorup/test1.csv',encoding="gbk")#短期测试集
test2 = pd.read_csv('D:/mathorup/test2.csv',encoding="gbk")#长期测试集
train.info()

为了方便后续处理，我用英文字段重命名了列名：

new_col = ['DATE', 'HOUR','NAME' , 'LABEL1','LABEL2']
train.columns = new_col
test1.columns = new_col
new_col2 = ['DATE','NAME' , 'LABEL1','LABEL2']
test2.columns = new_col2

输出进行观察：

train.head()
test1.head()
test2.head()

3.数据处理

删除训练数据中的重复列，保留一个：

train = train.drop_duplicates(keep='first')

删除含有缺失值的数据

train = train.dropna()

处理小时、日、月：

train['HOUR'] = train['HOUR'].apply(lambda x: int(x.split(':')[0]))
train['DAY'] = train['DATE'].apply(lambda x: int(</