Spark
迷茫君
这个作者很懒,什么都没留下…
展开
-
SparkStreaming与Kafka集成
官方文档参考:http://spark.apache.org/docs/2.2.2/1、概述 Spark Streaming是核心Spark API的扩展,可实现实时数据流的可扩展,高吞吐量,容错流处理。数据可以从许多来源(如Kafka,Flume,Kinesis或TCP套接字)中获取,并且可以使用以高级函数表示的复杂算法进行处理map,例如reduce,join和window。最后,处...原创 2018-09-07 23:37:15 · 450 阅读 · 0 评论 -
SparkStreaming与Storm
1、SparkStreaming与Storm对比 比较内容 Storm Spark Streaming 实时计算模型 纯实时,来一条数据,处理一条数据 准实时,对一个时间段内的数据收集起来,作为一个RDD,再处理 实时计算延迟度 毫秒级 秒级 吞吐量 低 高 事务机制 支持完善 支持,但不够完善 健壮性 ...转载 2018-09-07 23:59:51 · 306 阅读 · 0 评论 -
Spark安装部署
下载地址上传解压[root@master Spark]# pwd/opt/app/Spark[root@master Spark]# rz[root@master Spark]# tar -zxvf spark-2.2.2-bin-hadoop2.7.tgz[root@master Spark]# lsspark-2.2.2-bin-hadoop2.7 spark-2.2....原创 2018-09-04 00:00:19 · 632 阅读 · 0 评论