HDFS循环创建文件夹

最新推荐文章于 2024-02-04 13:51:00 发布
最新推荐文章于 2024-02-04 13:51:00 发布
阅读量311 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46784562/article/details/115177325
版权
这是一个使用Bash脚本来实现的Hadoop HDFS自动化创建分区目录的程序。脚本会检查并创建过去一天内的60个日期分区，如果文件夹已存在则跳过，不存在则创建。这对于大数据存储和处理场景，如Hive表的分区管理，非常有用。
摘要由CSDN通过智能技术生成

需求：要求连续建立60个分区文件夹，如果原本就存在该文件夹就跳过，不存在就建立

#!/bin/bash
date1=$(date -d '-1 day' '+%Y%m%d')
for((i=0;i<=59;i++));
do
    ds=`date -d "-$i day $date1" +%Y%m%d`
    hadoop fs -test -e /user/hive/warehouse/table_name/ds=$ds
    if [ $? -eq 1 ] ; then
    hadoop fs -mkdir  /user/hive/warehouse/table_name/ds=$ds;
    fi
done

$? ：表示上一次命令的退出码，这里如果结果是1的话，代表hdfs中目标文件夹不存在

flicker_ever
关注
专栏目录
建立 HDFS 各类目录权限 及shell 脚本代码
10-19 1758
Athor: F # 1、创建默认组及权限： #!/bin/bash # ## 初始化默认权限 sudo -u hdfs hdfs dfs -chown -R root:root /hive sudo -u hdfs hdfs dfs -chmod -R 771 /hive sudo -u hdfs hdfs dfs -chown -R root:root /dw sudo
【PHP原生】循环创建目录
opt_cody的博客
10-16 317
判断目录是否存在，不存在则循环创建 $path_complete ="qrcodes/online/complete/"; if(!file_exists($path_complete)){ //file_exists检测目录或文件是否存在 mkdir($path_complete,0777,true); } ...
shell动态循环监控HDFS路径下新分区是否生成的脚本
攻城狮Kevin
09-11 755
用户画像项目DataToES环节中，需要在kettle启动之前动态监控${sday}的90d数据是否已经生成，不用公司xcenter的方案如下： 每隔5min动态监控HDFS路径下${sday}新分区文件夹是否生成： 方案一： ${_HADOOP_BIN} fs -text /HDFS路径/${sday}/*00000*|head -10|wc -l 监控HDFS路径下文件，查看前10...
探究在一个循环中，下载文件在HDFS上不存在会怎么样,某次的循环异常会不会影响整体的循环
多喝清晨的粥
09-24 117
探究在一个循环中,指定的下载文件在HDFS上不存在会怎么样,某次的循环异常会不会影响整体的循环。 HDFS上文件如下图： public static void test() throws Exception { //本地保存路径 String downUrls = "D:/-------" ; //操作目录文件路径 String fileHdfsUrls = "/uploadTest"; //hdfs链接地址
循环建立多级目录
Henry
06-03 338
本文转自 C语言 mkdir 创建多级目录 void mkdirs(char *muldir) { int i, len; char str[512]; strncpy(str, muldir, 512); len=strlen(str); for(i=0; i<len; i++) { if(str[i]=='/') ...
使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件
weixin_72949830的博客
10-20 3085
使用javaAPI对HDFS进行文件上传，下载，新建文件及文件夹删除，遍历所有文件
Hadoop之HDFS上测试创建目录、上传、下载文件,遍历目录
Vincent
08-27 1万+
遍历 循环遍历根目录，慎重 hdfs dfs -ls -R / 遍历根目录文件夹和文件 hdfs dfs -ls / 上传文件 到HDFS已经存在的目录下 上传文件到 / 跟目录下 hdfs dfs -put /home/vc/dev/hadoop/hadoop-2.7.7/etc/hadoop/hdfs-site.xml / 查看刚才上传文件 ...
绝对完美解决hdfs datanode数据和磁盘数据分布不均调整（hdfs balancer ）——经验总结
赵英超的博客
02-04 2040
hdfs 需要存写大量文件，有时磁盘会成为整个集群的性能瓶颈，所以需要优化 hdfs 存取速度，将数据目录配置多磁盘，既可以提高并发存取的速度，还可以解决一块磁盘空间不够的问题。大数据Hadoop之——Hadoop 3.3.4 HA（高可用）原理与实现（QJM）
【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
weixin_53543905的博客
04-19 2980
1、通过可以判断 HDFS 文件或目录是否存在，-test 一次只能传递一个测试参数，不能执行类似或者这种命令；2、返回值是不输出的，需要通过“$?这个特殊变量获取返回值；3、判断 HDFS 文件目录是否存在后，可以执行比如创建、删除目录或文件等操作，当然还有一些更高级的玩法，这里就不演示了。【Shell-HDFS】使用Shell脚本判断HDFS文件、目录是否存在
Java API操作HDFS写入，读取，重命名，显示文件列表等
qq_65274143的博客
12-01 6615
Java API操作HDFS写入，读取，重命名，显示文件列表等
循环创建文件夹
瑾
12-09 1496
function mk_dir($path){ $path=str_replace('./', '/', $path); $path=substr($path,0,strrpos($path,'/')); $path_arr=explode('/', $path); unset($path_arr[0]); $path=''; foreach ($p
HDFS命令批量创建文件夹和文件
bymain的博客
12-31 3311
批量成绩文件夹： hadoop fs -mkdir -p /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/ 批量创建文件： hadoop fs -touchz /user/wtf/hivedata/temp/201912311001/d={27…30}/h={10…17}/m5={0…5}/{1…3}.orc 最终...
Hadoop学习--创建多路径目录
cs的博客
09-28 4226
hadoop fs -mkdir -p /user/bushu07/aaaa
hdfs mkdir递归建立目录背后的设计
Enzo的探索之路
05-12 4145
我们都知道hdfs命令：hdfs fs -mkdir -p /xx1/xx2/xx3 可递归创建一个目录，简单的命令背后，hadoop源码是如何执行的呐？接下来一起领略一下hadoop的源码魅力。 接下来直接上mkdirs方法： public boolean mkdirs(Path f) throws IOException{ Path parent = f.getParent(); //...
怎样在hdfs上创建多级目录文件夹_最快速创建大量hdfs目录
weixin_39914732的博客
12-20 2535
需要创建大量hdfs目录的原因：配置canal拿取mysql的binlog日志上传到hdfs目录。每一张表都需要一个hdfs目录，因此我是新建数据中台，需要同步 100+的IP 的数据库，上1W的表。正常创建目录都是使用hadoop fs -mkdir -p /a1/b1/01少数目录可以这么创建，但是目录过多创建就会很慢，因为创建一个目录就需要去请求一次hadoop fs 。快速创建大量hdfs...
怎样在hdfs上创建多级目录文件夹_【Hadoop】如何在hdfs根目录下创建文件夹
weixin_34315803的博客
01-15 1万+
shell命令创建文件夹启动hdfs,终端输入：start-dfs.sh在hdfs中创建一个input文件夹：hadoopfs-mkdir/input/1使用参数-p创建多级目录：hadoopfs-mkdir-p/input/file1HDFS Java API创建publicclassCreatDir{publicstaticvoidmain(String[]args...
hdfs创建文件夹及目录
NewDay_的博客
09-28 8156
import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class nkdirDemo { public static void m..
HDFS 读取、写入、遍历目录获取文件全路径、append
热门推荐
架构师思考实践
07-08 1万+
1、从HDFS中读取数据 Configuration conf = getConf(); Path path = new Path(pathstr); FileSystem fs = FileSystem.get(conf); FSDataInputStream fsin= fs.open(path ); BufferedReader br =null; Strin
hdfs怎么创建文件夹
最新发布
09-27
在HDFS上创建文件夹的步骤通常是通过Hadoop命令行工具HDFS CLI（Command Line Interface）或者第三方工具如Hadoop的FsShell工具来完成的。以下是基本的步骤： 1. **打开终端**：首先，你需要连接到运行HDFS集群的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值