LightGBM预测饭店流量1: 数据处理

最新推荐文章于 2023-09-05 01:03:03 发布

弎见

最新推荐文章于 2023-09-05 01:03:03 发布

阅读量1k

点赞数

分类专栏：机器学习进阶 # sklearn数据预处理文章标签：机器学习 python

本文链接：https://blog.csdn.net/sanjianjixiang/article/details/103652353

版权

本文介绍使用LightGBM预测饭店流量的第一部分，主要涉及数据处理，包括数据汇总、日历、地区、天气和信息数据的分析。通过shift()操作分析节假日影响，处理异常点，并利用指数加权移动平均提取时间序列信息。数据集已进行划分，为后续的模型建立与预测做好准备。

摘要由CSDN通过智能技术生成

饭店流量数据

import pandas as pd
air_visit = pd.read_csv('air_visit_data.csv')
air_visit.index = pd.to_datetime(air_visit['visit_date'])
air_visit.head()

在这里插入图片描述

# 按天来算
air_visit = air_visit.groupby('air_store_id').apply(lambda i: i['visitors'].resample('1d'))

# 缺失值填0
air_visit['visit_date'] = air_visit['visit_date'].dt.strftime('%Y-%m-%d')
air_visit['was_mil'] = air_visit['visitors'].isnull()
air_visit['visitors'].fillna(0, inplace = True)
air_visit.head()

在这里插入图片描述

日历数据

shift()操作对数据进行移动, 可以观察前一天和后一天是不是节假日

date_info = pd.read_csv('date_info.csv')

date_info.rename(columns={
   'holiday_flg':'is_holiday', 'calendar_date':'visit_date'}, inplace=True)

date_info['prev_day_is_holiday'] = date_info['is_holiday'].shift().fillna(0)
date_info['next_day_is_holiday'] = date_info['is_holiday'].shift(-1).fillna(0)
date_info.head()

在这里插入图片描述

地区数据

air_store_info = pd.read_csv('air_store_info.csv')
air_store_info.head()

在这里插入图片描述

测试集

import numpy as np
submission = pd.read_csv('sample_submission.csv')

submission['air_store_id'] = submission['id'].str.slice(0, 20)
submission['visit_date'] = submission['id'].str.slice(21)
submission['is_test'] = True
submission['visitors'] = na.nan
submission['test_number'] = range(len(submission))
submission.head()

在这里插入图片描述

数据汇总

print(air_visit.shape, submission.shape)
data = pd.concat((air_visit, submission.drop('id', axis = 'columns')))
print(data.shape)
data.head()

(296279, 4) (32019, 6)
(328298, 6)
在这里插入图片描述

data['is_test'].fillna(False, inplace = True)
print(data_info.shape, data.shape)
data = pd.merge(left=data, right=date_info, on='visit_date', how='left')

print(air_store_info.shape, data.shape)
data = pd.merge(left=data, right=air_store_info,