13_hadoop
hdfs参数设置的优先级:
1.默认配置文件
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml
2.生产配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
3.代码里面设置的参数
Configuration
优先级:3>2>1
1.使用java api 操作 hdfs 在创建文件夹
/data/dt=20221114
/data/dt=20221115
/data/dt=20221116
2.使用java api 上传本地 wc.data 到上面三个目录下
3.使用java api 将
/data/dt=20221114/wc.data
/data/dt=20221115/wc.data
/data/dt=20221116/wc.data
目录下的文件移动到 指定目录 并进行改名字
/data/hive/20221114-01.data
/data/hive/20221115-01.data
/data/hive/20221116-01.data
创建文件夹 上传 改名
path:
hdfspath 上传的path
localpath 本地path
filename 文件名字
renamepath 修改文件的路径的path
renamesufname 修改后文件的结尾
dt
hadoop jar /home/hadoop/project/DL2262-hdfsapi-1.0.jar
com.bigdata.HomeWork01
“/data/dt=” “file:home/hadoop” “1.log” “/data/flink” “-01.data” “20221117”
start.sh
if [ $# -lt 6 ];then
echo “Usage:put file to hdfs”
echo “Usage:$0
echo “Usage: is hdfs path”
echo “eg:$0 ‘/d