阿里数据集（cluster-trace-v2018）提取

最新推荐文章于 2024-08-07 09:08:29 发布

5-StarrySky

最新推荐文章于 2024-08-07 09:08:29 发布

阅读量2.5k

点赞数 2

分类专栏：数据集文章标签： python 仿真器

本文链接：https://blog.csdn.net/qq_37431461/article/details/116613785

版权

数据集专栏收录该内容

8 篇文章 0 订阅

订阅专栏

数据集提取

本数据集采用的是cluster-trace-v2018

详情可参考该文献：https://blog.csdn.net/weixin_41988248/article/details/92431588

CSV数据集提取操作见：https://blog.csdn.net/lucky_shi/article/details/105321149

关于read_csv包的用法见：https://blog.csdn.net/dc19971118/article/details/107721340

从阿里数据集来看，我们可以把它的数据大概分为两种信息，一种是机器容器任务和实例的元信息，以另一种是利用率的信息，如果是做分析，分析阿里集群的，后者是重要的，但对于做仿真实验的人来说，前一个信息的重要性显然更高，而本人采用阿里数据集是做仿真实验，所以接下来对于数据集的知识会偏向前者。语言采用python

首先是怎么把数据从数据集中把数据提取出来，本人采用了python的数据分析包(pandas):

 temp_list = pd.read_csv(filepath_or_buffer=file_name, nrows=self.instance_num, usecols=task_cols)
        instance_data = temp_list.tolist()

然后你可以像我一样把它封装成一个对象列表，也可以直接把数据列表传上去，这个主要看个人爱好

container_list = list()
        for data in container_data:
            temp_container = ContainerData()
            temp_container.__set_container_data__(data)
            container_list.append(data)
        return container_list

然后是四个表的信息，

**注：参考文献中的数据种类是对的，但是其某列的数据类型并不对应表某行数据类型，以下为整理好的对应数据：

machine_meta文件：

# 选中的列分别是：0机器ID 1时间索引 2第一级故障域 3第二集故障域 4机器的CPU数  5机器的内存大小 6状态
        cols = [0, 1, 2, 3, 4, 5, 6]

container_meta文件：

# 从数据集中提取数据： 0容器ID 1机器ID 2时间戳 3部署域 4状态 5需要的cpu数量 6cpu限制数量 7内存大小
        cols = [0, 1, 2, 3, 4, 5, 6, 7]

batch_task文件：

# 提取出来的数据包括： 0任务名字 1实例数 2机器名字 3任务类型 4 状态 5开始时间 6结束时间 7 cpu核心数 8 内存量
        task_col = [0, 1, 2, 3, 4, 5, 6, 7, 8]

batch_instance文件:

        # 0实例名 1任务名 2工作名 3任务类型 4状态 5开始时间 6结束时间 7机器ID 8Seq_no实例 9total_seq_no实例 10实例中cpu的平均利用率 11实例中cpu中最大利用率 12实例的平均内存利用率 13实例的最大内存利用率  注意后面四项可能没有数据
        task_cols = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13]