- 博客(3)
- 收藏
- 关注
RSS订阅原创 大数据学习——YARN
（2）根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）ApplicationMaster 负责协调来自 ResourceManager 的资源，负责任务的监控与容错，根据应用的运行状态和资源使用情况动态计算资源需求。YARN 中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等。
2023-05-27 23:29:02
152
1
原创 大数据学习——MapReduce
具体实现bean对象序列化步骤如下。（1）实现Writable接口（2）反序列化时，需要反射调用空参构造函数，所以必须有空参构造（3）重写序列化和反序列化方法，同时要求顺序一致（4）如果需要将自定义的bean放在key中传输，则还需要实现Comparable接口，因为MapReduce框中的Shuffle过程要求对key必须能排序。默认分区通过key的hashCode对ReduceTask个数取模得到。
2023-05-17 21:39:54
5291
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人