使用teragen产生数据

最新推荐文章于 2022-01-21 15:55:19 发布
最新推荐文章于 2022-01-21 15:55:19 发布
阅读量892 收藏 2
点赞数 1
分类专栏： hadoop 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_37617010/article/details/102808915
版权

使用Teragen产生数据，使用 jar 包路径如下：
/your hadoop path/share/hadoop/mapreduce2/hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar

$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar teragen 参数1 参数2

Teragen 参数解释

  • 参数1：表示需要产生行数。如1G = 102410241024/100=10737418行
  • 参数2：表示放置文件的位置

默认 teragen 启动 map 数量为 2，可以指定 map 数量，-Dmapred.map.tasks=map，如：

$ hadoop jar hadoop-mapreduce-examples-2.6.0-cdh5.9.3.jar teragen -Dmapred.map.tasks=10 参数1 参数2

map 数量影响产生文件个数

程序攻城狮
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS benchmark 基准测试
sparkjvm的专栏
01-09 1万+
HDFS benchmark 基准测试
teragen:这段代码使用Hadoop MapReduce生成了TB级的数据
05-12
特雷根 这段代码使用Hadoop MapReduce生成了TB级的数据 要执行数据外推jar，用户需要以以下格式触发命令bin / hadoop jar dataextrapolator.jar com.impetus.datagenerator.DataExtrapolatorDriver 1
Hadoop测试TeraSort
qiezikuaichuan的专栏
10-09 1513
http://www.opstool.com/article/249 使用teragen产生数据 使用Teragen来产生数据，示例如下： hadoop jar hadoop-*-examples.jar teragen 参数1 参数2 teragen的参数解释： 参数1：表示要产生的数据的行数。Teragen每行数据的大小是100B。 要产生1T的数据，需要的
TeraGen例子疑惑
shuhuai007的专栏
10-08 964
TeraGen的map（）方法中的rowId从哪里来的？
Hadoop简介
奔腾游子
04-02 435
1. Hadoop 简介 “在古时候，人们用牛来拉重物。当一头牛拉不动一-根圆木时，人们从 来没有考虑过要想方设法培育出一种更强壮的牛。同理，我们也不该想 方设法打造什么超级计算机，而应该千方百计综合利用更多计算机来解 决问题。” – 葛蕾丝●霍珀(Grace Hopper)" 1.1 数据大爆炸时代 我们生活在这个数据大爆炸的时代，很难估算全球电子设备中存储的数据总共 有多少。国际数据公司(IDC)曾经发布报告称，2013年数字世界(digital universe)项目统计得出全球数据总量为4.4
Spark-terasort:Spark Terasort基准测试
05-13
完整的TeraSort基准测试运行包含以下三个步骤： 通过TeraGen生成输入数据。 在输入数据上运行实际的TeraSort。 通过TeraValidate验证排序的输出数据。 您无需在每次TeraSort运行之前重新生成输入数据（步骤2）。 ...
Timbre新版计量产品大幅缩短程序生产时间
12-02
Timbre Technologies公司日前发布了其新一代光学数字轮廓测定计量产品(ODP)—TeraGen2.5，这种新产品可提供较短的程序生成时间。 Timbre公司ODP是一项突破性的测量技术，是在一个宽泛的应用范围内，用宽带光提供非...
显示/光电技术中的Timbre新版计量产品缩短程序生产时间
11-29
Timbre Technologies公司日前发布了其新一代光学数字轮廓测定计量产品(ODP)—TeraGen2.5，这种新产品可提供较短的程序生成时间。 Timbre公司ODP是一项突破性的测量技术，是在一个宽泛的应用范围内，用宽带光提供非...
spark-terasort
05-20
Terasort跑步TeraGen 用法： $ spark-submit --class terasort.TeraGen --master mesos://$MESOS_MASTER terasort-spark-0.1.jar [output-size] [output-directory]例子： $ spark-submit --class ...
Spark 与 Hadoop 关于 TeraGen/TeraSort 的对比实验(包含源代码)
samhacker的专栏
01-03 7716
自从 Hadoop 问世以来，MapReduce 在很长时间内都是排序基准测试的纪录保持者，但这一垄断在最近被基于内存计算的 Spark 打破了。在今年Databricks与AWS一起完成的一个Daytona Gray类别的Sort Benchmark中，Spark 完胜 Hadoop MapReduce：“1/10计算资源，1/3耗时”。这是个很有意思的对比实验，因此笔者也在一个小规模集群上做了一个微缩版的类似试验。
MapReduce基准测试优化
06-12 101
Hadoop中自带了一个符合工业标准的基准测试工具TeraSort，用来比较hadoop的性能。这个工具尝试使用整个集群尽可能的对数据进行排序。 TeraSort分为三个模块： 1.TeraGen ：该模块用...
测试眼里的Hadoop系列 之Terasort
leafy1980的专栏
07-26 1万+
TeraSort是Hadoop的测试中很有用的一个工具，但以前只是粗略的知道它的功能和用法，简单的用它做了几个测试用例。实际上，对于这种比较通用的工具，如果能够了解它更多一些的话，对于理解Hadoop是很有帮助的，同时也可以更好的利用它来帮助测试。最近有点时间，就了解了一些它的背景，代码实现原理等等，就先记录下来吧。 1. Hadoop与Sort Benchmarks SortBenchmar
Hadoop-MapReduce-TeraSort-大数据排序例子
train的专栏
07-24 8881
1TB（或1分钟）排序的冠军  作为分布式数据处理的框架，集群的数据处理能力究竟有多快？或许1TB排序可以作为衡量的标准之一。  1TB排序，就是对1TB（1024GB，大约100亿行数据）的数据进行排序。2008年，Hadoop赢得1TB排序基准评估第一名，排序1TB数据耗时209秒。后来，1TB排序被1分钟排序所取代，1分钟排序指的是在一分钟内尽可能多的排序。2009年，在一个1406
Hadoop TeraSort 基准测试实验
热门推荐
风声
04-01 1万+
<br /><br />Author: zhankunlin<br />Date: 2011-4-1<br />Key words: Hadoop, TeraSort<br /> <br /><一> TeraSort 介绍<br />1TB排序通常用于衡量分布式数据处理框架的数据处理能力。Terasort是Hadoop中的的一个排序作业，在2008年，Hadoop在1TB排序基准评估中赢得第一名，耗时209秒。<br /><二> 相关资料<br />Hadoop MapReduce扩展性的测试:  http
Hadoop Gridmix
小忍大乱的专栏
11-18 1424
1、 概述     Hadoop Gridmix是针对hadoop系统的基准测试程序。它具备评测大规模数据处理系统所需的各个功能模块，包括：产生数据，生成并提交作业，统计作业完成时间等。本文主要介绍了Hadoop 0.20.2中自带的Gridmix2基准测试程序（位于\src\benchmarks目录下）的设计原理及使用方法。     2、 作业种类     Gridmix通
集群测试工具
qq_17200461的博客
01-21 9713
DFSIO测试集群I/O性能 DFSIO 用法 hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-client-jobclient-2.7.X-tests.jar TestDFSIO 15/05/22 19:50:22 INFO fs.TestDFSIO: TestDFSIO.1.8 Missing arguments. Usage: TestDFSIO [genericOptions] -read [-random |
Spark TeraSort 实现与调优
Just for Fun la
03-12 4220
参考ehiggs/spark-terasort以及RDD#sortBy的代码，我自己实现了一个Spark的TeraSort程序。
hadoop基准测试
Royce Wang专栏
09-09 9192
Hadoop 集群基准测试 一、测试条件 集群完全安装配置后，应立即开始基准测试。基准测试时集群里不应该运行其他一切任务。 二、测试目标 1. 硬盘故障：新系统最常见的故障。可以通过运行高强度的IO基准测试程序集中测试。例如TestDFSIO 2. MapReduce的
使用idea编写hadoop数据生成器生成1G~10G大小的数据，字段必须包括id,日期,手机号码、型号、操作系统字段。
最新发布
05-30
好的，这个问题我可以回答。首先，你需要在IDEA中创建一个Java项目。然后，你需要下载并安装Hadoop。接下来，你可以使用Hadoop自带的数据生成器工具TeraGen来生成数据。 以下是一个示例代码，你可以根据自己的需求修改： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.Text; import org.apache.hadoop.mapreduce.lib.output.TextOutputFormat; import org.apache.hadoop.mapreduce.lib.input.TextInputFormat; import org.apache.hadoop.mapreduce.Job; import org.apache.hadoop.mapreduce.Mapper; import org.apache.hadoop.mapreduce.Reducer; import org.apache.hadoop.util.GenericOptionsParser; import org.apache.hadoop.util.Tool; import org.apache.hadoop.util.ToolRunner; import java.io.IOException; import java.text.SimpleDateFormat; import java.util.Date; import java.util.Random; public class DataGenerator implements Tool { private Configuration conf; public static void main(String[] args) throws Exception { int res = ToolRunner.run(new DataGenerator(), args); System.exit(res); } public int run(String[] args) throws Exception { Path outputPath = new Path(args[0]); int numRecords = Integer.parseInt(args[1]); int numMappers = Integer.parseInt(args[2]); int numReducers = Integer.parseInt(args[3]); Job job = Job.getInstance(getConf()); job.setJobName("DataGenerator"); job.setJarByClass(DataGenerator.class); // Set input/output format job.setInputFormatClass(TextInputFormat.class); job.setOutputFormatClass(TextOutputFormat.class); // Set mapper/reducer class job.setMapperClass(DataGeneratorMapper.class); job.setReducerClass(DataGeneratorReducer.class); // Set number of mappers/reducers job.setNumReduceTasks(numReducers); // Set output key/value class job.setOutputKeyClass(Text.class); job.setOutputValueClass(Text.class); // Set input/output path TextInputFormat.setInputPaths(job, new Path("input")); TextOutputFormat.setOutputPath(job, outputPath); // Set number of records to generate job.getConfiguration().setInt("numRecords", numRecords); // Set number of mappers job.getConfiguration().setInt("mapred.map.tasks", numMappers); return job.waitForCompletion(true) ? 0 : 1; } public void setConf(Configuration conf) { this.conf = conf; } public Configuration getConf() { return conf; } public static class DataGeneratorMapper extends Mapper<Object, Text, Text, Text> { private static final String[] PHONES = {"135", "136", "137", "138", "139", "150", "151", "152", "157", "158", "159", "182", "183", "184", "187", "188"}; private static final String[] MODELS = {"iPhone", "Samsung", "Huawei", "Xiaomi", "Oppo", "Vivo", "OnePlus", "Realme", "Lenovo", "Asus"}; private static final String[] OS = {"iOS", "Android", "Windows", "macOS", "Linux", "Chrome OS", "Ubuntu"}; private int numRecords; @Override protected void setup(Context context) throws IOException, InterruptedException { super.setup(context); numRecords = context.getConfiguration().getInt("numRecords", 1000000); } @Override protected void map(Object key, Text value, Context context) throws IOException, InterruptedException { Random random = new Random(); SimpleDateFormat dateFormat = new SimpleDateFormat("yyyy-MM-dd"); for (int i = 0; i < numRecords; i++) { int id = i; String date = dateFormat.format(new Date(random.nextLong())); String phone = PHONES[random.nextInt(PHONES.length)] + String.format("%08d", random.nextInt(100000000)); String model = MODELS[random.nextInt(MODELS.length)]; String os = OS[random.nextInt(OS.length)]; context.write(new Text(String.valueOf(id)), new Text(date + "," + phone + "," + model + "," + os)); } } } public static class DataGeneratorReducer extends Reducer<Text, Text, Text, Text> { @Override protected void reduce(Text key, Iterable<Text> values, Context context) throws IOException, InterruptedException { for (Text value : values) { context.write(key, value); } } } } ``` 在这个代码中，我们使用了一个Mapper来生成数据。在Mapper中，我们使用了一个随机数生成器和SimpleDateFormat来生成日期和手机号码。我们还定义了一些模型和操作系统，用于生成“型号”和“操作系统”字段。 你可以通过以下命令来运行这个程序： ``` hadoop jar DataGenerator.jar /output 10000000 10 1 ``` 这会生成一个包含1000万行数据的文件，文件名为part-r-00000，位于/output目录下。其中，第二个参数表示要生成的记录数量，第三个参数表示要使用的Mapper数量，第四个参数表示要使用的Reducer数量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值