Intouch使用过程中难免会有历史数据/实时数据查询和导出的需求,以进行数据分析等操作。本文主要讨论如何通过Intouch Historian查询历史数据和实时数据。
一、启用Intouch Historian
本文介绍的是如何通过Historian进行查询,关于传统库(.LGH文件)的查询,可参考作者文章AVEVA Intouch HistData—历史数据导出为Excel .csv,在此不做过多介绍。
1.1建立标记名字典
此处我们在标记名字典中新增DATA1和DATA2这两个I/O实型作为测试,勾选“记录数据”。
这两个模拟量标记的数据来自于Kepware的SIM驱动,读者也可以自行构建模拟数据来源。
1.2勾选“启用存储到Historian”
在安装AVEVA平台的时候记得安装此项。
1.3查看Historian License
笔者采用的临时授权,在SMC中查看License是否为可用状态。
二、Historian存储的数据类型
Analog模拟量:连续变化的物理量,例如温度、液位等
Discrete离散值:位信号,只有两个状态,例如阀门开关、泵启停等
String字符串:文本消息类型
Event事件:状态改变触发的事件记录,或者报警
System系统状态:系统时间、Historian性能状态等
Analog summary模拟量摘要:模拟量tag的最小值、最大值、平均值等信息
State summary状态摘要:tag信号状态等
三、Microsoft SQL Server与Historian的关系
当现场每秒钟都有大量的模拟量更新、事件、报警等信息需要记录时,SQL Server难以满足瞬时大量的记录需求。
这种情况下,启用AVEVA Historian,并由Historian把这些数据记录到历史块(.MDF文件)中。
为了方便查询,Historian在安装时会自动将INSQL绑定到SQL Server;INSQL是AVEVA提供的查询Historian历史块的provider,它通过OLEDB方式向SQL Server返回查询结果,可以视为SQL Server的外部数据源。
当需要查询这些历史记录时,可以通过常规的数据库连接方式连接SQL Server,通过OpenQuery进行数据查询,INSQL完成查询操作并返回结果表给SQL Server,此时我们也只需要查询SQL Server即可,整个过程不需要和INSQL发生直接接触。对于过于复杂的查询语句,虽然满足SQL Server规范,但是INSQL可能无法解析,这种情况下查询无法完成。
一般情况下Historian安装时,SQL Server与INSQL会自动绑定,如有必要可以手动绑定,
在SSMS中新建查询窗口,输入以下内容并执行:
sp_addlinkedserver
@server = 'INSQL',
@srvproduct = '',
@provider = 'INSQL'
go
sp_serveroption 'INSQL','collation compatible',true
go
sp_addlinkedsrvlogin 'INSQL','TRUE',NULL,NULL,NULL
go
sp_addlinkedserver
@server = 'INSQLD',
@srvproduct = '',
@provider = 'INSQL'
go
sp_serveroption 'INSQLD','collation compatible',true
go
sp_addlinkedsrvlogin 'INSQLD','TRUE',NULL,NULL,NULL
go
四、Historian可查询的表
History:历史数据
Live:实时数据
AnalogSummaryHistory
StateSummaryHistory
HistoryBlock
Events:报警和事件
五、历史数据/实时数据查询样例
5.1数据库连接
提前在SQL Server中创建账户,例如,用户名:sa,密码:1433
作者采用SQLAlchemy(pyodbc作为驱动)连接SQL Server进行查询,数据返回到pandas的dataframe中,读者也可以采用自己熟悉的编程语言进行数据库连接。
import sqlalchemy
import pyodbc
import pandas
from sqlalchemy import create_engine
server = '192.168.124.19,1433'
database = 'Runtime'
username = 'sa'
password = '1433'
driver = 'ODBC Driver 17 for SQL Server'
engine = create_engine(f'mssql+pyodbc://{username}:{password}@{server}/{database}?driver={driver}')
5.2历史数据查询
INSQL返回的wide table字段更丰富,wide table没有固定的schema,根据每次查询的语句发生变化,INSQL会自行连接内部多个表查询。要查询wide table,必须使用SQL Server的OPENQUERY()
sqlstring = """SELECT * FROM
OPENQUERY(INSQL, 'SELECT * FROM History
WHERE TagName = "DATA1"
AND DateTime >= "2024-11-18 20:00:00"
AND DateTime <= "2024-11-18 21:00:00" ')"""
with engine.connect() as conn:
df = pandas.read_sql(sqlstring, conn)
print(df)
#把查询结果写入dataframe
conn.close()
返回结果如下:
DateTime TagName Value ... wwOption wwExpression wwUnit
0 2024-11-18 20:00:00.000 DATA1 NaN ... PRIMARYDATA None None
1 2024-11-18 20:17:04.612 DATA1 6.585600 ... PRIMARYDATA None None
2 2024-11-18 20:17:07.901 DATA1 6.673180 ... PRIMARYDATA None None
也可以用In子句查询多个标记:
sqlstring = """SELECT * FROM
OPENQUERY(INSQL, 'SELECT * FROM History
WHERE TagName In ("DATA1" ,"DATA2")
AND DateTime >= "2024-11-18 20:00:00"
AND DateTime <= "2024-11-18 21:00:00" ')"""
5.3实时数据查询
直接查询Live表即可,不需要通过INSQL
sqlstring = """SELECT TagName, Value FROM Live WHERE TagName ='DATA1'"""
sqlstring = """SELECT TagName, Value FROM Live WHERE TagName in ('DATA1','DATA2')"""
#返回DATA1和DATA2
sqlstring = """SELECT TagName, Value FROM Live"""
#返回所有标记名实时数据(会包含一部分系统标记)
返回结果如下:
TagName Value
0 SysString NaN
1 SysStatusSFDataPending 0.000000
2 SysConfiguration 0.000000
3 SysSystemDriver 1.000000
4 SysStorage 1.000000
.. ... ...
198 DATA4 8.710997
199 DATA3 3.433844
200 DATA2 9.686586
201 DATA1 7.566156