用hadoop计算PI值

最新推荐文章于 2023-10-14 00:22:53 发布
最新推荐文章于 2023-10-14 00:22:53 发布
阅读量7k 收藏 4
点赞数 1
分类专栏： Hadoop 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/minglaihan/article/details/38942263
版权
本文介绍了使用Hadoop通过Quasi-Monte Carlo算法估算PI值的原理，引用了斯坦福大学的文章，阐述了如何通过投掷飞镖模拟，利用Halton sequence确保随机性和均匀性。在Hadoop环境中，通过运行特定命令，根据投掷次数的增加提高计算精度。
摘要由CSDN通过智能技术生成 
      摘要：最近研究hadoop的一个例子，计算PI值，本以为hadoop不适合这种密集型的计算，却发现了在hadoop自带的examples里，竟然有PiEstimator这个例子，于是深入研究一下，首先感谢博主http://thinkinginhadoop.iteye.com/blog/710847。

 

一、计算PI值的方式与原理

      百度一下，计算PI的方法还真不少。但在hadoop examples代码中的注释写的是：是采用 Quasi-Monte Carlo 算法来估算PI的值。 

      维基百科中对Quasi-Monte Carlo的描述比较理论，好多难懂的公式。 

最低0.47元/天 解锁文章
summerhai
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
用hadoop估算圆周率PI(3.1415926)的值
不精通则死
09-07 2618
转自：http://thinkinginhadoop.iteye.com/blog/710847 晕，我算了 一、hadoop不适合计算密集型的工作 以前看过一个PPT： Hadoop In 45 Minutes or Less ，记得上面说hadoop不适合计算密集型的工作，比如计算PI后100000位小数。 但是，前几天，我却发现了在hadoop自带的examp
Hadoop执行MapReduce作业的过程-案例-计算pi的值
星月情缘的博客
01-07 5240
           在安装好了Hadoop集群后，我们是不是马上想去实践一下，做个例子来测试它是否符合我们的要求呢。这样，我们使用系统的例子来测试，也就最常见的求PI 的值。           首先要启动好集群。hdfs 和yarn相关进程都启动，并且正常，才能执行mapreduce作业，因为执行作业需要调用资源，就必须启动yarn 服务。            以上是正常的。 我们就可...
用hadoop计算pi
ww的博客
03-18 1150
安装hadoop集群后执行 hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi 10 10000 [hadoop@Master hadoop]$ hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.10.0.jar pi...
如何用hadoop自带的包计算pi值
QAQ的博客
04-16 5438
一、计算pi的值的原理 通过hadoop计算pi值确实是一件很酷的事情，我想你可能会有疑问，（Hadoop不是一个分布式计算的处理数据的吗？）当然，计算它能处理大量数据，我们可以通过这种方式来计算pi的值。究竟是怎么运算出它的值，大家请看下面： 通过万能的google，找到了它的原理图： 这是通过扔飞镖计算概率，在第二象限里面，相当于是长款各自为1的正...
PiSearchDoop:使用 Hadoop 从 pi 实时搜索数字
07-03
【标题】"PiSearchDoop:使用 Hadoop 从 pi 实时搜索数字"涉及到的核心技术是Hadoop，这是一种分布式计算框架，特别适用于大数据处理。在本项目中，PiSearchDoop利用Hadoop的强大功能，实现了从圆周率（pi）这个无穷...
pi.rar_PI_java 并行计算_并行计算 pi
09-19
在这个“pi.rar_PI_java”压缩包中，包含了一个用Java实现的并行计算实验，目的是通过并行计算来求解π（圆周率）的值。 π的计算通常涉及复杂的数学算法，例如蒙特卡洛方法，这是一种基于概率统计的数值计算方法。...
大数据编程期末大作业-Hadoop
03-11
- 计算Pi值：Hadoop官方提供了示例程序包 `hadoop-mapreduce-examples-3.1.4.jar`，其中包含了一个计算Pi值的任务。 - 在Hadoop的mapreduce目录下，执行命令：`hadoop jar hadoop-mapreduce-examples-3.1.4.jar pi...
hadoop&spark安装.md
最新发布
07-16
hadoop jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.1.jar pi 10 1000 ``` 上述命令将计算圆周率的近似值，其中参数 `10` 和 `1000` 分别表示任务分割的数量和每个任务中的采样次数。 ...
hadoop2.7.3安装及验证（伪分布）
10-31
为了验证 Hadoop 的安装配置是否正确，我们可以使用 Hadoop 计算 pi 值的例子。我们使用命令 "hadoop jar hadoop-examples-2.7.3.jar pi 10 100" 进行计算，并观察计算结果是否正确。如果计算结果正确，我们可以确信...
多种方法模拟估计pi值
12-07
该文件中有matlab实现的蒙特卡罗、方差缩减、分层抽样技术实现的pi值估计，并且有方法的说明文档
Hadoop环境搭建（计算PI和运行wordcount程序）
m0_68499781的博客
10-14 730
云计算课程实验手册-Hadoop 环境搭建
Hadoop学习之实操练习（wordcount和pi运算）
mumanquan1的博客
08-17 411
前面花了那么多的精力准备HDFS、MapReduce和yarn的环境，那么他们具体可以做什么事情呢？TODO：这个Example文件内部的实现方式是什么？让我们存疑在这里，继续学习！本文将用Hadoop自带的实例进行单词数量统计和π圆周率计算的逻辑推演。首先创建一个文件，里面随便输入一些单词，并将这个文件传到HDFS系统中。大家是不是都迫不及待的想看看效果了。
hadoop中的pi值计算
黄俊东的专栏
05-04 4393
注意在hadoop中，操作一定要规范。不规范的操作引起exception满天飞······· 其实hadoop中的pi值运算还是挺简单的。在这里主要讲一下这个例子中要注意的地方： [hadoop@master hadoop-1.0.3]$ hadoop jar hadoop-examples-1.0.3.jar pi 10 100 确保是在hadoop-1.0.3目录下，因为hadoop
运行hadoop中的例子程序PI
jjkang的博客
03-28 3346
运行hadoop中的例子程序PI命令结果 安装好hadoop集群之后，都会想着试一下自己的集群是否正常工作，最简单的方式就是运行hadoop提供的例子程序。 命令 hadoop jar hadoop-mapreduce-examples-2.6.4.jar pi 5 5 结果 [root@zk2 ~]# hadoop jar hadoop-mapreduce-examples-2.6.4.j...
使用Hadoop自带的例子pi计算圆周率
godadream的博客
08-05 1万+
Hadoop中自带的hadoop-mapreduce-examples-2.7.6.jar含有一些事例，本文将用pi计算圆周率。若想了解其计算原理，参考：http://thinkinginhadoop.iteye.com/blog/710847。 具体步骤如下： 1. 启动Hadoop     切换到Hadoop安装目录下的sbin目录下执行./start-all.sh命令     或执行...
hadoop运行计算pi或running job卡住或 map 0% reduce 0%
空空说技术的博客
04-15 4607
1.出现MapReduce任务运行到running job卡住 一：如下异常： Starting Job 16/06/30 01:15:34 INFO client.RMProxy: Connecting to ResourceManager at master/192.168.10.50:8032 16/06/30 01:15:35...
计算PI(π)的几种方法
热门推荐
birdreamer的博客
03-13 9万+
计算π的方法 一、蒙特卡罗法 这种方法是一种利用计算机随机数的功能基于“随机数”的算法，通过计算落在单位圆内的点与落在正方形内的 点的比值求PI。 由于图形的对称性，我们靠考虑该图的四分之一部分。 假定一点能够均匀地扔到一个正方形中，计算落入其中的点个数。通过计数其中落入内切圆的点的个数； 如果一共投入N个点，其中有M个落入圆中，则只要点均匀，假定圆周的半径为R，则： M...
hadoop计算pi的源码及注释
06-12
以下是Hadoop计算Pi的源代码及注释： ```java // PiMapper.java import java.io.IOException; import java.util.Random; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiMapper extends Mapper<Object, Text, IntWritable, IntWritable> { private final static IntWritable one = new IntWritable(1); private static Random rndm = new Random(); public void map(Object key, Text value, Context context) throws IOException, InterruptedException { int numThrows = 10000; // 每个Mapper的投掷次数 int inCircle = 0; // 落在圆内的次数 for (int i = 0; i < numThrows; i++) { // 在 [-1, 1] 的范围内随机生成一个点 double x = 2 * rndm.nextDouble() - 1.0; double y = 2 * rndm.nextDouble() - 1.0; // 判断该点是否落在圆内 if (x * x + y * y <= 1.0) { inCircle++; } } // 将落在圆内的次数作为Key，1作为Value写入Context context.write(new IntWritable(inCircle), one); } } ``` ```java // PiReducer.java import java.io.IOException; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiReducer extends Reducer<IntWritable, IntWritable, IntWritable, DoubleWritable> { private DoubleWritable result = new DoubleWritable(); public void reduce(IntWritable key, Iterable<IntWritable> values, Context context) throws IOException, InterruptedException { int sum = 0; int count = 0; // 统计Key对应的Value的总和 for (IntWritable val : values) { sum += val.get(); count++; } // 计算Pi的近似值 double pi = ((double) sum / (double) count) * 4.0; // 将近似值作为Value写入Context result.set(pi); context.write(key, result); } } ``` ```java // PiDriver.java import java.io.IOException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; public class PiDriver { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); Job job = Job.getInstance(conf, "Pi Estimation"); // 设置Mapper job.setMapperClass(PiMapper.class); job.setMapOutputKeyClass(IntWritable.class); job.setMapOutputValueClass(IntWritable.class); // 设置Reducer job.setReducerClass(PiReducer.class); job.setOutputKeyClass(IntWritable.class); job.setOutputValueClass(DoubleWritable.class); // 设置InputFormat job.setInputFormatClass(TextInputFormat.class); // 设置OutputFormat job.setOutputFormatClass(TextOutputFormat.class); // 设置输入路径和输出路径 FileInputFormat.addInputPath(job, new Path(args[0])); FileOutputFormat.setOutputPath(job, new Path(args[1])); // 提交作业并等待完成 System.exit(job.waitForCompletion(true) ? 0 : 1); } } ``` 注释： 1. `PiMapper`类是一个Mapper类，它继承自`Mapper<Object, Text, IntWritable, IntWritable>`。它的输入键是`Object`，输入值是`Text`，输出键是`IntWritable`，输出值是`IntWritable`。 2. 在`PiMapper`类中，我们首先定义了一个`IntWritable`类型的常量`one`，它的值为1。接着，我们使用`java.util.Random`类创建了一个随机数生成器`rndm`。 3. `map`方法是`Mapper`类中的一个重要方法，它的作用是将输入键值对转换为输出键值对。在`PiMapper`类中，我们将每个Mapper的投掷次数设置为10000，然后在这个范围内随机生成一个点，判断该点是否落在圆内。如果是，我们将`inCircle`变量加1。最后，将落在圆内的次数作为Key，1作为Value写入Context。 4. `PiReducer`类是一个Reducer类，它继承自`Reducer<IntWritable, IntWritable, IntWritable, DoubleWritable>`。它的输入键是`IntWritable`，输入值是`IntWritable`，输出键是`IntWritable`，输出值是`DoubleWritable`。 5. 在`PiReducer`类中，我们首先定义了一个`DoubleWritable`类型的变量`result`。在`reduce`方法中，我们统计了Key对应的Value的总和和Value的数量。然后，根据公式计算Pi的近似值，将近似值作为Value写入Context。 6. `PiDriver`类是一个驱动程序。在`main`方法中，我们首先创建了一个`Configuration`对象和一个`Job`对象。然后，我们设置了Mapper、Reducer、InputFormat和OutputFormat。接着，我们设置了输入路径和输出路径。最后，我们提交作业并等待完成。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值