- 博客(2)
- 收藏
- 关注
RSS订阅原创 spark中RDD编程（java）
要实现自定义分区器，需要继承org.apache.spark.Partitioner类，并实现下面三个方法。（1）numPartitions: Int:返回创建出来的分区数。（2）getPartition(key: Any): Int:返回给定键的分区编号（0到numPartitions-1）。（3）equals():Java 判断相等性的标准方法。这个方法的实现非常重要，Spark需要用这个方法来检查你的分区器对象是否和其他分区器实例相同，这样Spark才可以判断两个RDD的分区方式是否相同。
2022-09-23 11:00:40
3113
3
原创 kafka详解
kafka的传统定义：kafka是一个分布式的基于发布\订阅模式的消息队列，主要用于大数据实时处理领域kafka的最新概念：kafka是一个开源的分布式事件流平台，（80%的公司都在用），用于高性能数据管道、流分析、数据集成和关键任务应用（1）生产者：向kafka集群发送数据（2）broker：启动的kafka集群（3）消费者：从kafka集群消费数据（4）zookeeper：帮助kafka实现分布式根据业务需求，可以自定义分区器。
2022-09-23 11:00:20
10503
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人