时间序列预处理

       数据预处理的主要流程为：数据清洗、特征选择、归一化处理、划分窗口、Shuffle和划分数据集等五个阶段。选用何种方法没有统一的标准，只能根据不同类型的分析数据和业务需求，在对数据特性做了充分的理解之后，再选择与其最适配的数据预处理技术。

时间序列预处理流程图（侵删）

下面来详细介绍每个阶段的处理

数据预处理流程图

数据预处理-平稳性检验

       一种是根据时序图和自相关图做出判断的图检验方法；一种是构造检验统计量进行假设检验的方法。 图检验操作简便，运用广泛，它的缺点是判别结论带有很强的主观色彩。所以最好能用统计检验的方法加以辅助判断。目前最常用的平稳性检验方法是单位根检验（unit root test）。
1.时序图检验
       根据平稳时间序列均值、方差Wie常数的性质，平稳时间序列的时序图应该是显示出该数列始终在一个常数值附近随机波动，而且波动的范围有界的特点。如下图中，图1为非平稳序列，图2为平稳序列。

图1：非平稳序列

图2：平稳序列

2.自相关图检验
       自相关图就是一个平面二维坐标垂线图，一个坐标轴表示延迟时期数，另一个坐标轴表示自相关系数，通过以垂线表示自相关系数的大小。
       平稳时间序列通常具有短期相关性，该性质使用自相关系数来描述就是随着延迟期数k的增加，平稳时间序列的自相关系数ρ会很快地衰减为0；反之，非平稳序列的自相关系数ρ衰减向0的速度通常会比较慢。

数据预处理-清洗转换

       当数据质量校验完成后，针对有问题的数据要进行的是数据清洗和转换，另外还包括对正常数据的转换。数据清洗的主要作用包括：纠正错误、删除重复项、统一规格、转换构造。

一、纠正错误

       错误数据是数据源环境中经常出现的一类问题。数据错误的形式包括：
       数据值错误： 数据直接是错误的，例如超过固定域集、超过极值、拼写错误、属性错误、源错误等。
数据类型错误： 数据的存储类型不符合实际情况，如日期类型的以数值型存储，时间戳存为字符串等。
       数据编码错误： 数据存储的编码错误，例如将UTF-8写成UTF-80。
       数据格式错误： 数据的存储格式问题，如半角全角字符、中英文字符等。
       数据异常错误： 如数值数据输成全角数字字符、字符串数据后面有一个回车操作、日期越界、数据前后有不可见字符等。
       依赖冲突： 某些数据字段间存储依赖关系，例如城市与邮政编码应该满足对应关系，但可能存在二者不匹配的问题。
       多值错误： 大多数情况下，每个字段存储的是单个值，但也存在一个字段存储多个值的情况，其中有些可能是不符合实际业务规则的。这类错误产生的原因是业务系统不够健全，尤其是在数据产生之初的校验和入库规则不规范，导致在接收输入后没有进行判断或无法检测而直接写入后台数据库造成的。
       具体示例：
       1.处理非等间隔
       处理非等间隔时间序列的方法有两类，一类是内插法，最常用的是线性内插法。然而内插法往往会带来显著的且不易量化的偏差，因为分析拟合误差时往往不能区分哪些是模型本身带来的误差，哪些是由于内插带来的误差。另一类是直接对数据建模，例如可以把处理等间隔时间序列方法通过某种变换再应用之，或者直接考虑新的适用于非等间隔序列的模型。
       2.处理缺失值
       常见的方法有两种，一种是直接丢弃含缺失数据的记录；另一种是用新值替代缺失数据。实际中，后者的处理方式更常用，因为前者对数据分析而言是很大的浪费。用新值替代缺失值的常见方法有如下几种：
       1）替代法： 可考虑用该序列中已观测序列值的均值替代；或最近邻域替代法，即设t时刻的序列值缺失，而已观测到t-1时刻的序列值$x_{t-1}$，则寻找整个序列中与$x$