东北大学python大作业

      目前金属矿开采，爆破还是主要的破岩方式，为了保证巷道采场的安全，需要对爆破震动进行监测，获取的监测数据如附件，第1列数据为震动的序号，第2、3、4列为x,y,z三个方向的震动速度，往往由于各种因素如环境、采集设备故障等导致采集的数据存在缺失、异常、冗余等现象，这会降低系统分析和预测能力，因此，如何将获取“脏数据”进行科学合理的清洗是亟待解决的问题。一般说来，脏数据主要存在异常、缺失和冗余这三类，如某一行的数据不是4列，或者x,y,z缺失或者格式为字符不是数字等。对数据进行清洗后，请计算出爆破振动的合速度，建立新的文件，保存在第5列，在文件开头保存程序运行时的系统时间和程序开发者姓名，并绘制出合速度的波形图,绘制波形使用turtle库或matplotlib库。

 

import csv
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt


out = open('data.csv', 'w+', newline='')
csv_writer = csv.writer(out, dialect='excel')

f = open("data.txt", "r")
flag = 0
for line in f.readlines():
    lst = list(line.strip('\n').split(','))  # 将字符串转为列表，从而可以按单元格写入csv
    for item in lst:
        if item == 'X(S)' or item == 'X(cm/s)' or item == 'Y(cm/s)' or item == 'Z(cm/s)':
            flag = 4
            break
        elif item.islower():
            flag = 0
            break
        elif item.find('.') < 3 and item.find('.') > 0:
            flag = flag+1
            continue

    if flag == 4:
        csv_writer.writerow(lst)
    flag = 0


# 读取数据文件
reader = pd.read_csv('data.csv', header=[0])
X = reader.iloc[:, 1]
Y = reader.iloc[:, 2]
Z = reader.iloc[:, 3]
T = reader.iloc[:, 0]
# 计算合速度
V = np.sqrt(X**2 + Y**2 + Z**2)
#将V存入第五列
reader['V'] = V
reader.to_csv('data.csv', index=False)
# 绘制波形图
plt.figure(num=1, figsize=(8, 4))
plt.plot(T, V,  color='green')
plt.legend()
plt.xlabel('time')
plt.ylabel('velocity')
plt.title('Blasting vibration composite velocity waveform graph')
plt.grid()
plt.show()

如果不出意外的话，这可能是我的python系列的最后一篇文章了。

在文章的最后是我的致谢环节：

       首先，感谢王老师，王运森老师真的教的非常用心，他的课程配合Python语言基础程序（第二版）学习，真的学习感觉非常好，学生无以为报，当以所学知识为国家为人民放光发热，继先生之学，传先生之术。

       然后，感谢我的程海师兄对我这篇文章的点拨，没有他的指导，我或许要多走许多弯路才能完成这个程序，在此特别鸣谢一下。

附（数据处理结果及波形图）：