![](https://img-blog.csdnimg.cn/20201014180756738.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
bigdata
大数据DayDayUp
这个作者很懒,什么都没留下…
展开
-
分享一下怎么用Java完成spark的单词计数练习
话不多说,直接上码package com.myspark.wordcount.java_version;import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spar...原创 2019-04-26 18:57:28 · 403 阅读 · 0 评论 -
分享一波spark里面的小东西,求圆周率 PI的蒙特·卡罗算法
#首先进入spark安装目录cd /spark#然後提交任务命令bin/spark-submit –class org.apache.spark.examples.SparkPi –master spark://node01:7077 –executor-memory 1G –total-executor-cores 1 examples/jars/spark-examples_2...原创 2019-04-24 20:05:08 · 457 阅读 · 0 评论 -
Flink,一个优秀的流式计算技术
分享一下,flink的一些概念,以及优势。Flink是什么?Flink是一个分布式计算引擎,支持流计算和批处理Flink的优势1.和Hadoop相比, Flink使用内存进行计算, 速度明显更优2.和同样使用内存的Spark相比, Flink对于流的计算是实时的, 延迟更低,Spark并非真正的流式计算3.和同样使用实时流的Storm相比, Flink的吞吐量更大,提供了更优秀...转载 2019-05-14 12:51:19 · 1481 阅读 · 0 评论