Spark
文章平均质量分 83
汉森X
哈工大计算机系学生
展开
-
Spark Streaming 简介
批量计算与流计算 ----------------------------- 数据总体上可以分为静态数据和流数据。对静态数据和流数据的处理,对应着两种截然不同的计算模式:批量计算和实时计算。批量计算以“静态数据”为对象,可以在很充裕的时间内对海量数据进行批量处理,计算得到有价值的信息。Hadoop就是典型的批处理模型,由HDFS和HBase(底层依旧是HDFS)存放大量的静态数据原创 2017-03-29 09:57:22 · 1907 阅读 · 1 评论 -
Spark应用运行流程
相关基本术语 ------------------------- Application:应用,即用户需要完成的应用程序。一般来说,这部分代码需要用户根据自己的需求来完成。这部分代码主要包括两部分:Driver和Executor。 Driver:顾名思义,驱动者,为Application准备运行环境,驱动并监控Application的运行。 Worker:当SparkContext申请到资原创 2017-04-10 22:06:14 · 4317 阅读 · 0 评论