spark
文章平均质量分 81
joli_1034498274
这个作者很懒,什么都没留下…
展开
-
SparkStreaming与Kafka集成问题汇总
!!!!!!!!!!spark的启动:./bin/spark.shell1、SparkStreaming从Kafka中取出数据进行计算,其Kafka的生产者还是用上一篇博客的producer.java2、SparkStreaming拉取数据:用maven管理:(1)pom.xml文件<project xmlns="http://maven.apache.org/POM/4.0.0" xmln...原创 2018-05-29 21:05:07 · 1597 阅读 · 4 评论 -
SparkStreaming(1)入门
参考于:https://blog.csdn.net/qq_23660243/article/details/51481407 1、 Hadoop的MapReduce及Spark SQL等只能进行离线计算,无法满足实时性要求较高的业务需求,例如实时推荐,实时网站性能分析等,流式计算可以解决这些问题。 目前有三种比较常用的流式计算框架,分别是storm,spark Streaming和Sa...原创 2018-05-30 15:51:55 · 450 阅读 · 0 评论