《大数据处理与智能分析入门》试卷

参考资料 

线性模型之Linear Regression

numpy和pandas的使用

相关系数的计算

1.第一题

import random
import numpy as np

a = []
b = []

# 随机生成两个3x3矩阵
for i in range(3):
    a.append([random.randint(0, 10) for j in range(3)])
    b.append([random.randint(0, 10) for j in range(3)])

# 将二维列表转成numpy中的ndarray类型
np_a = np.array(a)
np_b = np.array(b)
print('矩阵a如下：')
print(np_a)
print('矩阵b如下：')
print(np_b)
print('矩阵a和b相乘：')
print(np.dot(a, b))

A = [[-1, 1, 0], [-4, 3, 0], [1, 0, 2]]
np_A = np.array(A)
print('矩阵A如下：')
print(np_A)
v, w = np.linalg.eig(A)
print('特征值：')
print(v)
print('特征向量：')
print(w)

A = [[5, 2, 1], [2, 0, 1]]
np_A = np.array(A)
print('矩阵A如下：')
print(np_A)
U, sigma, VT = np.linalg.svd(np_A)
print('分解后矩阵如下：')
print(U)
print(sigma)
print(VT)

2.第二题

(ps: 判定系数等于相关系数的平方) 

data11.xlsx

data11.xlsx

import numpy as np
import pandas as pd
import xlrd
from sklearn.linear_model import LinearRegression

data_x = []
data_y = []


# 读取data11.xlsx中的数据，并存到data_x和data_y中
def read_excel():
    # 打开文件
    workbook = xlrd.open_workbook('data/data11.xlsx')
    # 按索引号获取sheet1的内容，sheet索引从0开始
    sheet1_content = workbook.sheet_by_index(0)
    for i in range(3, 21):
        flag = 1
        row = sheet1_content.row_values(i)
        # 如果遇到数据缺失的那一行就舍弃掉
        for item in row:
            if item == '':
                flag = 0
                break
        if flag:
            data_x.append(row[:-1])
            data_y.append(row[5])


if __name__ == '__main__':
    read_excel()
    estimator = LinearRegression()            # 实例化线性回归方法
    estimator.fit(data_x, data_y)             # 训练模型
    coef_vector = np.append(estimator.coef_, estimator.intercept_)
    print('系数向量(包括常数项)\n', coef_vector)

    col_index = ['x1', 'x2', 'x3', 'x4', 'x5']
    row_index = [i+1 for i in range(len(data_x))]
    data_df = pd.DataFrame(data_x, index=row_index, columns=col_index)
    data_df['y'] = data_y
    # 相关系数
    correlation_coef = [data_df.x1.corr(data_df.y), data_df.x2.corr(data_df.y), data_df.x3.corr(data_df.y), data_df.x4.corr(data_df.y), data_df.x5.corr(data_df.y)]
    # 判定系数
    determination_coef = [item * item for item in correlation_coef]
    print('x1~x5与y的判定系数分别为', determination_coef)

    print('预测结果', estimator.predict([[3.5, 1.8, 8, 17, 10]]))

3.第三题

36个城市居民消费价格指数（2018.10—202109）的数据（data33）。完成下列任务：

（1）画出北京、南京、合肥、西安四个城市城市居民消费价格指数按月变化的趋势图；

（2）对36个城市居民消费价格指数建立分类模型，并进行分类比较分析。

data33.xlsx

import pandas as pd
import scipy as sc
import scipy.cluster.hierarchy as sch
import matplotlib.pyplot as plt


plt.rcParams['font.sans-serif'] = ['SimHei']  # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False  # 用来正常显示负号

# 读取excel文件数据
df = pd.read_excel("data/data33.xlsx")
df = df.copy().dropna()  # 删除所有包含NaN的行
df.index = df['地区']     # 设置地区那一列为行索引
df = df.drop(['地区'], axis=1)  # 删除地区那一列
# 列索引年月时间转成字符串
df.columns = list(map(str, df.columns.values))
# 对读取的数据进行索引切片，切出北京、南京、合肥、西安的数据进行绘图
df.loc[["北京", "南京", "合肥", "西安"], :].T.plot()
plt.legend()
plt.show()

# 使用scipy进行层次聚类
# 生成点与点之间的距离矩阵,这里用的欧氏距离
disMat = sch.distance.pdist(df.values, "euclidean")
# 进行层次聚类
z = sch.linkage(disMat, method="average")
# 将层级聚类结果以树状图表示出来并保存为plot_dendrogram.png
P = sch.dendrogram(z)
plt.savefig('plot_dendrogram.png')
# 根据linkage matrix Z得到聚类结果
cluster = sch.fcluster(z, t=1)
print("层次聚类结果:\n", cluster)