- 博客(6)
- 收藏
- 关注
RSS订阅原创 Spark调优遇到的问题
1.最重要的就是架构的理解spark框架的核心是一个计算引擎，整体来说，它采用了标准的master——slave的结构。如图所示，它展示了一个 Spark 执行时的基本结构。图形中的 Driver 表示 master，负责管理整个集群中的作业任务调度。图形中的 Executor 则是 slave，负责实际执行任务2.接着就是rdd的理解与应用。
2023-09-21 16:16:40
88
原创 盘点大数据面试中遇到的那些问题————KAFKA
你们的勇勇带着自己面试中被问到的一些问题来了。kafka是一个分布式发布-订阅消息的消息队列，可以处理大量数据，使得消息从一个端点传递到另一个端点，Kafka适合离线和在线消息消费，kafka消息保留在磁盘上，并在集群内复制以防数据丢失。Zookeeper：用于在集群中不同节点之间的通信，在kafka中，它被用于提交偏移量，如果节点在任何情况下失败了，它可以从之前提交的偏移量中获取。Broker:服务代理节点，集群中的一台服务器就是一个broker，同一个topic的消息可以分布在多个broker中。
2023-09-21 15:46:21
50
原创 盘点大数据面试中遇到的那些问题————HADOOP
又是一个毕业季，又是到了各位代码小白紧张刺激的找工作环节。输入ReduceTask的数据流是形式，用户可以自定义reduce()方法进行逻辑处理，最终以的形式输出。MapReduce工作过程中，map阶段处理的数据如何传递给Reduce阶段，这是MapReduce框架中关键的一个过程，这个过程叫做Shuffle。格式化操作：将划分好的分片（split）格式化为键值对形式的数据，其中，key代表偏移量，value代表每一行内容。
2023-09-21 09:44:24
140
原创 Java 实例化对象
System.out.println("姓名"+name+",年龄"+age+",是否会飞"+ifFly+",飞的高度"+hight+",叫声"+sounds);System.out.println("是否会飞"+ifFly+",飞的高度"+hight+"叫声"+sounds);System.out.println(name+"能飞"+hight+"米");one1.sounds="叽叽";one.sounds="嘎嘎";one1.name="麻雀";one.name="鸵鸟";......
2022-07-21 11:24:54
192
2
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人