步骤:
第一步:创建一个Java项目,并将HDFS相关的jar包和jdk引入项目
第二步:编写代码并将项目打包成jar包,上传到虚拟机
第三步:编写shell脚本
思路:使用传参的方式来创建文件,先创建一个Configuration对象,用Configuration对象的set方法设置hdfs的地址,用FileSystem.get()创建一个FileSystem对象,将参数传给FileSystem对象的create()方法,返回一个FSDataOutputStream对象,最后将内容写入文件。
完整代码如下:
没加System.setProperty("HADOOP_USER_NAME","root");之前因为权限问题 创建文件失败,加了这个指定了hadoop的用户为超级管理员后就好了。
项目演示:
结果
查看hdfs上也创建成功了
然后将项目打包成jar包后上传到虚拟机。
接下来就是编写shell脚本了
touch mkdir.sh //创建文件
vi mkdir.sh //编辑文件
mkdir.sh文件内容:
执行结果:
ps:可以直接用文件名执行shell脚本,是因为在环境变量中添加了当前文件的路径,添加完后记得source /etc/profile 不然不起效,还有如果文件没有权限执行,可以 chmod +x 文件的路径。