hadoop
lx6766
这个作者很懒,什么都没留下…
展开
-
hadoop日常操作
1删除文件方式1调用apival hadoopConf = new org.apache.hadoop.conf.Configuration()val fs = org.apache.hadoop.fs.FileSystem.get(hadoopConf)多个文件 通配符路径 /home/aa/test*/test000*val files = fs.globStatus...原创 2019-02-20 16:09:33 · 190 阅读 · 0 评论 -
hadoop hdfs---zip md5---ftp
1 linux脚本从hdfs---》本地服务器--zip md5加密----》ftp服务器上传ftp速度20G用了9min,但是从hadoop将文件放到本地并加密1个多小时2考虑换种方式,直接hdfs--->ftp 用流的方式实现3 使用spark读取hdfs,然后指定写到ftp目前只有方式一实现了...原创 2019-08-27 14:28:06 · 532 阅读 · 0 评论