TXT文件读取与可视化

CTD数据如上图所示，计划根据时间和观测的温度绘制温度随时间变化的折线图。其中主要涉及到的操作有txt文件的读取和时间模块的使用。

初步计划：温度直接读取txt文件的数据，时间利用datetime模块根据初始时间、结束时间和时间间隔来构建时间数据。

1.数据读取

部分代码：

程序在运行的时候，第11行报错，报错如下：

具体报错为：UnicodeDecodeError: 'utf-8' codec can't decode byte 0xd0 in position 0: invalid continuation byte

经过查阅发现是编码，解码的时候存在问题。

将第11行改为：

tempobs1=np.loadtxt(ffile,dtype=float,usecols=11,skiprows=1,encoding='gbk')

在后面添加 encoding=’gbk’，程序运行通过。

2.数据可视化

部分代码：

当程序运行到27行的时候，再一次报错。

报错如下：

提示的错误表示，根据初始时间、截至时间和时间间隔所构建的时间数据长度和txt文件里存的总长度不对应。

检查所有数据发现，在2022年2月26日20：00之后确实3个时刻的数据。如下图所示：

因此，直接利用起始时间、结束时间和时间间隔来直接构造时间是行不通的，不能保证观测数据不会缺失。

因此直接读取txt文件里的时间数据。

由于日期和时间之间存在空格，利用np.loadtxt读取时间的时候只能分两次来读取。读取完作为字符串现对日期和时间进行合并，然后转换为时间格式。

读取、合并时间并转换，代码如下：

结果如下：

全部代码如下：

   import numpy as np

   import matplotlib

   import matplotlib.pyplot as plt

   import pandas as pd

   import datetime

   from datetime import timedelta,date,datetime,time

   matplotlib.rcParams['agg.path.chunksize']=10000

   ffile='/home/lb/work/src/getfiocom/data/DM3-6站/原始数据-经质量控制-CTD.txt'

   tempobs1=np.loadtxt(ffile,dtype=float,usecols=11,skiprows=1,encoding='gbk')

   dateobs=np.loadtxt(ffile,dtype=str,usecols=8,skiprows=1,encoding='gbk')

   timeobs=np.loadtxt(ffile,dtype=str,usecols=9,skiprows=1,encoding='gbk')

   aobs=[' '.join(x) for x in list(zip(dateobs,timeobs))]

   aobs=pd.to_datetime(aobs,format='%Y-%m-%d %H:%M:%S')

   fig=plt.figure(figsize=(20,10))

   ax=fig.add_subplot(1,1,1)

   plt.plot(aobs,tempobs1,c='k',label='OBS',lw=1)

   plt.yticks(fontsize=20)

   xticks=pd.date_range(aobs[0],aobs[-1],freq='MS')

   plt.xticks(xticks,fontsize=20)

   ax.set_xticklabels(xticks.strftime('%Y%m%d'))

   plt.xlim(min(aobs),max(aobs))

   plt.xlabel('Date',fontsize=20)

   plt.ylabel('Temp(℃)',fontsize20)

   plt.legend(loc='upper right',fontsize=20)

   plt.grid(linewidth=1,alpha=1)

   plt.tight_layout()

   plt.savefig('test.png',bbox_inches='tight',pad_inches=1)