基于SVD和LSA的美国能源发展情况分析挖掘与预测规划

本文链接：https://blog.csdn.net/weixin_37763809/article/details/88387829

通过对美国四个州50年能源数据的SVD奇异值分解与LSA分析，挖掘出四种能源发展模式，并预测未来趋势。利用矩阵运算减少数据量，评估和规划各州能源发展，目标是实现更清洁、均衡的能源结构。

摘要由CSDN通过智能技术生成

题目要求

题目提供了美国四个州50年来的能源使用情况，每一年的数据包括605个指标。要求我们挖掘分析这四个州每个州这五十年来能源发展情况，作出评价。同时预测这四个州10年后这605个指标的具体数值。最后要求我们为这四个州制定一个发展规划，使得他们的能源发展情况能够更加清洁、更加均衡。

数据直观分析

由于每一年的数据包括605个指标，特征数量过多难以分析，而且许多指标其实存在冗余的情况。考虑到经过PCA降维后的特征难以说清具体的意义，只能通过特征筛选的方法降低维度，我们在网上参考美国能源局的能源发展评价标准，从这605个特征中选取了具有代表性的26个特征，这26个特征包含了各种类型的能源指标，包括风能、核能、煤炭、汽油、天然气等类型。
这样每一年的数据可以表示成4*26的矩阵，矩阵中每一行表示一个州在这26个特征中的取值。

SVD奇异值分解与LSA潜在语义分析

由于26维数据仍然维数还是比较高，不好直接对这26维数据在50年来的变化进行直观的分析，且难以分析这26维数据的相互联系。
在这里插入图片描述
借鉴推荐系统里面SVD和LSA算法，五十年来有50个426的数据矩阵，对这50年来的数据矩阵去平均，得到一个426的数据矩阵，对426的数据矩阵经过奇异值分解，得到三个矩阵，左边的矩阵为44的矩阵，中间的矩阵为44对角矩阵，对角线上的值为4个奇异值，右边的矩阵为426的矩阵。
在这里插入图片描述

上面奇异值分解实际上得到了4个潜在语义的特征，在这个题目里面我们可以把这四个潜在的语义特征理解成四个能源类，即四种能源发展模式，左边的矩阵表示了四个州与这四种能源发展模式的映射关系，每一行表示每个州对这四种能源发展模式的偏向，每个数值代表偏向的程度。右边的矩阵四种能源发展模式与26种具体能源的映射关系，每一列代表一种具体的能源与四种发展模式的关系。中间的矩阵上面的奇异值代表了每个能源发展模式的重要性。
在这里插入图片描述
上图是个形象化的表示，中间四个黄色的圆是四种发展模式。连线代表了，左右矩阵中具体的权重数值。
假设中间和右边V的矩阵数值不随着时间变化，而左边的矩阵U会随着时间变化，也就是每个州对四种发展模式的侧重会随着时间变化。这样，四个州每一年26种具体能源的使用情况，就可以转化为四个州每一年对4个发展模式的偏好程度的变化。
在这里插入图片描述
将左边的矩阵U表示成C，将中间、右边的矩阵结合得到E：

我们有了五十年来的M和E矩阵的数据，通过矩阵运算可以得到五十年来每一年的C矩阵，也就是50年来四个州每一年对四种发展模式的偏好程度。
这就把504605的数据量，大大减少到5044的数据量。

50年来能源发展评价

通过分析右边的426矩阵V，得到各个发展模式的具体情况，其中第三个发展模式是最均衡和最清洁的，通过分析五十年来的44矩阵，对四个州能源发展作出评价。

未来的具体能源的预测

当时对每个州，以时间为自变量，以14的向量为因变量，通过线性回归，对未来十年和二十年的发展模式偏向进行预测。
其实这样做并不是很好，因为时间并不是一个很有意义的特征，不能直接把时间年份作为自变量，而且这样并没有考虑时间前后的关联，可以考虑使用RNN循环神经网络。
预测得到了未来的发展模式偏好的44矩阵，通过矩阵相乘，能够得到未来的4*26的具体能源发展情况。

未来的具体能源规划

分析得到第三个发展模式是最均衡也最清洁的，所以规划一百年后，每个州的发展模式偏好完全偏向第三个发展模式，将目前的发展模式偏好向量归一化，通过路径规划DMP算法，使得一百年后该向量收敛到（0,0,1,0）的状态，且中间的过程呈“S”型，然后再反归一化得到一百年后的发展模式偏好向量，通过矩阵相乘得到未来一百年的每一年的4*26的具体能源发展情况。