linux磁盘拷贝及对比工具,Linux 环境下磁盘io统计命令工具

[toc]

实验背景

上数据库课,老师出了一个作业:比较两个数据系统处理数据对io的要求,分别使用Hadoop伪分布式和mysql环境。让两个大文件,做简单jion操作,观察磁盘io情况。分为两种小情况,共要做4次实验。

文件超出内存的情况下统计io

文件不超出内存的情况下统计io

这个文章的主体内容:如何在linux环境下,查看统计磁盘io情况

使用环境

cpu :AMD FX(tm)-6100 Six-Core Processor

memory :16G

disk1 :500G机械硬盘(sda)

disk2 :240G Kingston SSD(sdb)

iostat

安装

iostat属于sysstat中的一部分。所以必须先安装sysstat工具

sudo apt-get install sysstat -y

之后才能正常使用iostat

linux下查看命令帮助说明

man iostat

使用

单个使用 iostat 命令。信息从开机起累计io

iostat

命令来查看

ff64607ff7167f73f7f185035aad8e80.png

累计io,默认k为单位

组合使用

linux强大的功能是,各种命令组合使用,比如用grep筛选出我们感兴趣的内容,比如说下面的图片。我的linux安装在ssd上,由于还有windows系统,我的Ubuntu安装在sdb6分区通过筛选我只看sda6的情况加上 -m 以M为单位输出。加上 -pm sdb 1 表示输出报告(p),以(m)为单位,在我的Ubuntu系统上(sdb) 以1秒为间隔,输出。

6df6f892b027831addace3155ff6ee71.png

组合效果

实验过程及结果

用python,生成了一个5G大小的文件,存放在sda(磁盘)上备用

复制这个文件到 Ubuntu系统中。运行命令查看io情况

得到的io统计信息如下!

47a07783e39f8d1a48dd628ef2380e39.png

复制文件过程的io消耗

问题来了:

为什么,资源管理器显示,写入速度为约为120M/s实际的iostat命令会有这种波浪状。刚开始为0,之后为120M/s再接着240M/s 之后又为0。接着又循环!

可能几种的答案选择:

设置的监控粒度太小。 比如应该设置为0.5秒观测一次,再取平均

写磁盘,有内存缓存区。先把缓存区写满。再进一步写磁盘。所以有这种波浪现象。

进阶玩法

运用管道命令,和后台命令。同时执行监控。和拷贝大文件。把磁盘IO结果写入文件。

iostat -pm sdb 1 50|grep sdb6 >> ~/rs.txt & cp test3--5GB.txt ~/

这个bash命令的意思为:每秒刷新一次,共刷新50次(5G的文件,50秒应该写的完),把结果筛选出sdb6的信息(Ubuntu分区)写入文件

具体执行效果如下图,为方便看效果,我把所有窗口平铺整个屏幕

152f3635aa63?utm_campaign=maleskine&utm_content=note&utm_medium=seo_notes&utm_source=recommendation

下一步使用

跟python,或者ruby等语言结合起来,即可以在程序中得到io情况返回,进行io情况统计分析

查考文章网址

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
folder Size是最好的一个文件夹大小浏览工具了,可以拖入文件夹,操作方便 folder Size是一款用于系统硬盘查看对比的工具,它可以帮助你查看系统中的磁盘文件使用状态,同时支持显示每个磁盘的文件和文件夹所占用空的大小百分比,让你更加直观的了解您的磁盘分配情况。此工具拥有简洁的操作界面,拥有快速的扫描功能,仅需要几分钟的时就可以检测完成。 功能特色: 查找并显示所有文件和文件夹大小。 扫描整个存储设备或选择的文件夹。 在不同的图表-柱状图,饼图显示文件和文件夹的大小等 在表中列出所有文件和文件夹的详细信息: 名称 文件夹大小 从父文件夹的大小的百分比的大小 文件夹数 子文件夹数 创建时 上次修改时 上次访问时文件夹的所有者和组 上述排序选项列出所有不同的标准- 基于文件夹的名称,文件夹大小等 重新排列的选项列表中的列,以适应您的偏好。 找到Windows资源管理器中选择通过上下文菜单文件夹或文件 删除文件夹或文件。 相关的应用程序打开文件使用双击。 对于所有类型的存储设备支持 -硬盘驱动器,光驱,usb驱动器,软盘 简易资源管理器风格的导航通过后退,前进和文件夹向上工具按钮 使用方法: 1、下载Folder Size软件,安装。 2、软件安装完成以后,自动与Windows资源管理器集成在一起。以Windows XP为例,打开资源管理器,单击“查看→详细信息

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值