Tableau 为百万行iostat数据绘制性能散点图

1、背景 、要解决什么问题：

实际业务中linux系统长时间的iostat性能监控中产生较多的数据，当数据量超过10万行后，超过了excel处理上限，则无法使用excel进行绘图。

tableau desktop 官网宣称可以支持10亿行数据。

“处理大型数据集：数据提取可以处理大量数据，甚至达到数十亿行。这使用户能够有效地处理大量数据集。” 链接：https://help.tableau.com/current/pro/desktop/zh-cn/extracting_data.htm

1.1使用环境：

windows PC

tableau desktop professional edition 2024

2、筛选并导出数据

2.1、从iostat生成的性能log中筛选数据（包含3列 time / device / w_await 如下图），命令如下

cat io.log |grep nvme |awk '{print $1,$2,$14}' > iolog1112222.txt

3、tableau desktop制图

3.1. 打开tableau desktop软件，连接文件，选择对应文件。

3.2 处理数据

默认3列名称是F1 /F2 /F3，点击重命名 改为你想要的列名称。

修改或确认“字段类型” ， 确保time是时间类型、device是字符串、w_wait是小数。

如果特殊情况下，日期和时间被自动分列为2列。 可以将其转换为字符串 再拼接。 计算公式 ：F1+" "+F3

3.3 绘图

点击工作表1，切换到绘图界面。

3.3.1 拖拽到图表区

time胶囊拖拽到“列”（选择“连续”），w_await 胶囊拖拽到“行”（点击 “连续”、“度量（总和）”）。

3.3.2 标记栏中选择 “○圆”，大小可调圆圈的大小。

3.3.3 编辑 X 、Y 轴

默认情况下，横轴会起始两头空余篇幅。为了满屏显示，将起始数据调整为跟源数据一致。

1、选中横轴右键，编辑轴

2、纵轴 在标题中 添加单位

3、编辑表头

4、显示方式

4.1 X轴：time Y轴：w_await

4.2 X轴：time+device Y轴：w_await 区分设备之间对比。

可以筛选不要的device。

添加参考线，标记最大值。