![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
[06]大数据
文章平均质量分 60
拾贰_C
这个作者很懒,什么都没留下…
展开
-
【Spark_BigData】期末复习考试——
与点对点消息传递模式不同的的是,消费者可订阅一个或多个Topic,消费者可消费该Topic中的所有数据,也就是说,同一条数据可被多个消费者消费,同时数据被消费后也不会立即删除。这种模式是使用消息队列来实现的,生产者发送一条数据,消息将持久化到一个队列中,且将有一个或多个消费者队列中的数据。但当一个消费者消费了队列中的某条数据后,该条数据就会从队列中删除,也就是说一条消息只能被消费一次。需要注意的是,发布者发送到Topic的消息,只有订阅了该Topic的订阅者才会收到消息。yarn框架中不包含的进程为。原创 2023-07-07 13:53:18 · 335 阅读 · 0 评论 -
【Spark大数据习题】习题_Spark SQL&&&Kafka&& HBase&&Hive
1、Spark SQL的前身是 Shark,Shark最初是瑞士洛桑联邦理工学院(EPFL)的编程方法实验室研发的 Spark 生态系统的组件之一。3、Kafka集群是由生产者(Producer)、消息代理服务器(Broker Server)和***消费者(Consumer)***组成。2.本地向量分为密集向量和稀疏向量,密集向量是由两个并列的数组(索引、值)支持,而稀疏向量是由 Double类型的数组支持。原创 2023-06-01 16:48:10 · 2687 阅读 · 0 评论 -
【Kafka_分布式消息系统】
同一条数据可以被多个订阅者消费,数据也在被消费后立即删除。Apache软件基金会开发的一个开源流处理平台。只能被消费一次,消费后立即从消息队列中删除。所发布的消息会持久化到一个主题中。订阅者可订阅多个主题。原创 2023-05-25 17:16:43 · 85 阅读 · 0 评论