前段时间在做一些气象预测方面的工作,牵扯到大量的复杂的数据分析与预处理。
该篇文章简述我在用随机森林进行数据分析,计算各类天气参数对于目标参数的贡献度,也就是参数权重大小。
首先引入各个计算工具包
from sklearn.ensemble import RandomForestClassifier
import pandas as pd
import numpy as np
import sys
import csv
接下来对处理好的天气参数csv文件的读取,即x的读取,我所用到的X是 100维的
#读取x值即10x10的风数据值,并将数据转化为numpy的array格式并输入模型
path = sys.path[0] + '/'
file = path + 'weither/data/z100_getdata.csv'
csvfile = open(file, encoding='utf-8')
csvreader = csv.reader(csvfile)
xdata = []
xname = []
timex = []
for x in csvreader:
if x[1] == '925':
timex.append(x[0][:8])
x = [float(x) for x in x[2:]]
xdata.append(x)
print(timex[:10])#该包含time的部分可以省略,是为若有缺失值,填充做的准备
for m in range(100):
xname .append(str('x'+str(m)))
xdata.pop(-1)
xdata = np.array(xdata)
xname = np.array(xname)
#print(xdata[:5],len(xdata),type(xdata),xname[:5])
df = pd.DataFrame(xdata, columns=xname)
df['is_train'] = np.random.uniform(0, 1, len(df)) <= .75#将数据集分为训练集与测试集
接下来读取y值并进行预处理。y值是一维数据,数量要求与x的长度完全一样,yname参数保存数据的分类名
#读取y值即PM2.5的数据值,并将数据转化为numpy的array格式并输入模型
file = path + 'weither/data/sites_2016_getdata.csv'
csvfile = open(file, encoding='utf-8')
csvreader = csv.reader(csvfile)
ydataf = []
yname = []
ydata =