- 博客(3)
- 收藏
- 关注
原创 大数据学习——YARN
(2)根据Application状态过滤:yarn application -list -appStates (所有状态:ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED)ApplicationMaster 负责协调来自 ResourceManager 的资源,负责任务的监控与容错,根据应用的运行状态和资源使用情况动态计算资源需求。YARN 中的资源抽象,封装了某个节点上的多维度资源,如内存、CPU、磁盘、网络等。
2023-05-27 23:29:02
399
1
原创 大数据学习——MapReduce
具体实现bean对象序列化步骤如下。(1)实现Writable接口(2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造(3)重写序列化和反序列化方法,同时要求顺序一致(4)如果需要将自定义的bean放在key中传输,则还需要实现Comparable接口,因为MapReduce框中的Shuffle过程要求对key必须能排序。默认分区通过key的hashCode对ReduceTask个数取模得到。
2023-05-17 21:39:54
9338
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人