spark
hemeinvyiqiluoben
这个作者很懒,什么都没留下…
展开
-
Storm介绍及与Spark Streaming对比
转自:https://blog.csdn.net/xiangxizhishi/article/details/79102692 1 Storm介绍Storm是由Twitter开源的分布式、高容错的实时处理系统,它的出现令持续不断的流计算变得容易,弥补了Hadoop批处理所不能满足的实时要求。Storm常用于在实时分析、在线机器学习、持续计算、分布式远程调用和ETL等领域。在Stor...转载 2018-11-20 22:08:24 · 358 阅读 · 0 评论 -
win10安装spark on hadoop流程
转自:https://blog.csdn.net/NJYR21/article/details/80291630 说明安装步骤分为java,scala,spark和hadoop四步,以下是对我整个安装过程的记录。一、安装JDK官网下载了8u172版本。点击打开链接安装完毕以后,添加环境变量JAVA_HOME、增加环境变量path路径。打开cmd键入java -version...转载 2018-11-21 14:15:58 · 307 阅读 · 0 评论 -
SparkSQL与Hive on Spark的比较
转自:https://www.cnblogs.com/wcwen1990/p/7899530.html 简要介绍了SparkSQL与Hive on Spark的区别与联系一、关于Spark简介在Hadoop的整个生态系统中,Spark和MapReduce在同一个层级,即主要解决分布式计算框架的问题。架构Spark的架构如下图所示,主要包含四大组件:Driver、Mast...转载 2018-11-23 12:36:47 · 153 阅读 · 0 评论 -
Mapreduce与Hive比较(有Hive之后,为何还要学mapreduce或spark rdd编程)
转自:https://blog.csdn.net/xiaoshunzi111/article/details/49621857https://blog.csdn.net/zhanaolu4821/article/details/81871154 文章一、hive本身只是在hadoop map reduce 或者spark 计算引擎上的封装,应用场景自然更局限,不可能满足所有需求...转载 2018-12-03 15:19:25 · 3014 阅读 · 1 评论