![](https://img-blog.csdnimg.cn/20201014180756913.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
花开彼岸天x
这个作者很懒,什么都没留下…
展开
-
hdfs copyToLocalFile拷贝文件到本地
有时候需要将集群上的文件拷贝到执行机工作目录里,常使用copyToLocalFile函数代码如下:public static void getFileFromHDFS(String hdfssrc, String localdst) { Log.info("copy file from hdfs to local..."); Configuration conf = new...原创 2018-11-15 18:43:38 · 10569 阅读 · 0 评论 -
Java 读取hdfs文件末尾多个字符
本代码思路来源于hadoop tail命令源码,tail只能读取偏移1024字符的数据,当需要的倒序读的字段大于1024的一种通用办法。有时候我们不需要完全读取文件,只需解析正序一部分,最后一部分数据。代码如下 public static void readHDFSFile(Path file) { try { Configuration configuration =...原创 2018-12-13 14:25:17 · 554 阅读 · 0 评论 -
Java Yarn 获取集群队列负载
背景:Docker on yarn 任务调度平台,在实际的开发中,有时候需要检测集群上某个队列的资源使用情况,当资源很紧张的时候,禁止任务提交。基于 springboot1.在某个类中声明一个创建YarnClient的实体函数,@bean 功能等同于新建一个实体类@Beanpublic YarnClient createYarnClient() { YarnClient yar...原创 2019-06-14 17:14:21 · 2656 阅读 · 0 评论