hadoop
文章平均质量分 82
枫叶斋
爱笑的程序猿
展开
-
Spark Yarn API 在线任务提交
针对在进行spark任务在线提交过程中遇到的问题和解决方案的一点分享。原创 2021-11-22 15:46:08 · 3182 阅读 · 7 评论 -
spark动态加载jar包
spark任务在执行过程中动态加载远程(hdfs)的jar包,并实例化对象进行逻辑处理。记录过程中遇到的类加载问题。一、hdfs协议在实现动态加载的过程中URLClassLoader需要支持hdfs协议,hadoop有现成的处理方式。通过调整UrlStreamHanderFactory来实现URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());备注:需要添加hadoop相关的jar包 hadoop-common和hadoo原创 2020-08-25 16:22:28 · 1702 阅读 · 1 评论