大数据
主要是hadoop和spark
weixin_47014745
这个作者很懒,什么都没留下…
展开
-
spark 监听
spark 监听spark 提供了一系列整个任务生命周期中各个阶段变化的事件监听机制。通过这一机制可以在任务的各个阶段做一些自定义的各种动作。SparkListener便是这些阶段的事件监听接口类,通过实现这个类中的各种方法便可实现自定义的事件处理动作。如下是sparkListener的实现方法,可以通过下面的参数获取spark的数据object SparkAppListener extends SparkListener with Logging{ //完成的job数量 p原创 2021-06-25 10:04:45 · 373 阅读 · 0 评论 -
hadoop与spark遇见的问题
这里写自定义目录标题hadoop与spark遇见的问题RPC响应超出最大数据长度Hadoop访问被拒绝hadoop与spark遇见的问题RPC响应超出最大数据长度java.lang.NoSuchMethodException: org.apache.hadoop.ipc.RpcException.(java.lang.String)错误解决办法:1.找到hadoop/etc目录下的core-site.xml,修改value确定与你代码中使用的路径一致fs.defaultFShdfs://1原创 2020-06-15 16:27:22 · 618 阅读 · 0 评论