本文旨在通过testdata1.6GB.csv数据集测试Hadoop-2.7.7集群的性能。在2台3G内存、45G硬盘的CentOS虚拟机上，数据从本地上传至hdfs，用时约58秒，平均写入速率为28.25MB/s，平均写入记录数为108105rec/s。
一、目的：
使用测试数据集测试hadoop-2.7.7集群性能。
二、环境：
2台虚拟机，CentOS Linux release 7.5.1804 (Core)，内存3G，硬盘45G。
192.168.10.156 hmaster156
192.168.10.162 hslave162
三、测试过程：
3.1 数据集名称
testdata1.6GB.csv（原始数据accidents_2005_to_2007.csv追加而得）
3.2 数据来源
3.3 上传数据的节点与数据存储路径
节点：hslave162
存储路径：/usr/local/hadoop-2.7.7/performance_test/
3.4 数据集规模
1.6GB，6270123行（条）数据
3.5 测试写入性能
#在hdfs构建目录/user/hadoop/performance_test/input
最低0.47元/天 解锁文章
扫一扫
1056
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
