用HDFS java api在HDFS上创建文件,并编写shell脚本执行

步骤:

第一步:创建一个Java项目,并将HDFS相关的jar包和jdk引入项目

第二步:编写代码并将项目打包成jar包,上传到虚拟机

第三步:编写shell脚本

思路:使用传参的方式来创建文件,先创建一个Configuration对象,用Configuration对象的set方法设置hdfs的地址,用FileSystem.get()创建一个FileSystem对象,将参数传给FileSystem对象的create()方法,返回一个FSDataOutputStream对象,最后将内容写入文件。

完整代码如下:

 没加System.setProperty("HADOOP_USER_NAME","root");之前因为权限问题 创建文件失败,加了这个指定了hadoop的用户为超级管理员后就好了。

项目演示:

 结果

查看hdfs上也创建成功了

 然后将项目打包成jar包后上传到虚拟机。

接下来就是编写shell脚本了

touch mkdir.sh     //创建文件

vi mkdir.sh           //编辑文件

mkdir.sh文件内容:

 执行结果:

ps:可以直接用文件名执行shell脚本,是因为在环境变量中添加了当前文件的路径,添加完后记得source /etc/profile 不然不起效,还有如果文件没有权限执行,可以 chmod +x 文件的路径。

 
 
 
 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值