【13_hadoop】

13_hadoop

hdfs参数设置的优先级：
1.默认配置文件
core-default.xml
hdfs-default.xml
mapred-default.xml
yarn-default.xml
2.生产配置文件
core-site.xml
hdfs-site.xml
mapred-site.xml
yarn-site.xml
3.代码里面设置的参数
Configuration
优先级：3>2>1

1.使用java api 操作 hdfs 在创建文件夹
            /data/dt=20221114
            /data/dt=20221115
            /data/dt=20221116
    
2.使用java api 上传本地 wc.data 到上面三个目录下
3.使用java api 将
/data/dt=20221114/wc.data
/data/dt=20221115/wc.data
/data/dt=20221116/wc.data
目录下的文件移动到 指定目录 并进行改名字
/data/hive/20221114-01.data
/data/hive/20221115-01.data
/data/hive/20221116-01.data

创建文件夹 上传 改名
            path：
            hdfspath  上传的path
            localpath  本地path
            filename   文件名字
            renamepath  修改文件的路径的path
            renamesufname 修改后文件的结尾
            dt         

hadoop jar /home/hadoop/project/DL2262-hdfsapi-1.0.jar
com.bigdata.HomeWork01
“/data/dt=” “file:home/hadoop” “1.log” “/data/flink” “-01.data” “20221117”

start.sh
if [ $# -lt 6 ];then
echo “Usage:put file to hdfs”
echo “Usage:$0

”
echo “Usage: is hdfs path”
echo “eg:$0 ‘/d