![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
lx6766
这个作者很懒,什么都没留下…
展开
-
hadoop日常操作
1删除文件方式 1调用api val hadoopConf = new org.apache.hadoop.conf.Configuration() val fs = org.apache.hadoop.fs.FileSystem.get(hadoopConf) 多个文件 通配符路径 /home/aa/test*/test000* val files = fs.globStatus...原创 2019-02-20 16:09:33 · 180 阅读 · 0 评论 -
hadoop hdfs---zip md5---ftp
1 linux脚本从hdfs---》本地服务器--zip md5加密----》ftp服务器 上传ftp速度20G用了9min,但是从hadoop将文件放到本地并加密1个多小时 2考虑换种方式,直接hdfs--->ftp 用流的方式实现 3 使用spark读取hdfs,然后指定写到ftp 目前只有方式一实现了 ...原创 2019-08-27 14:28:06 · 520 阅读 · 0 评论