hadop day03

目录

1.1 hdfs相关命令

1.2 hdfs操作命令

1. 查看hdfs ls

2. 创建文件夹 mkdir

3. 移动、拷贝  mv cp

4. 删除 rm​编辑​编辑

5. 上传 下载

6.权限

---

HDFS

• 1.1 hdfs相关命令

  • linux 命令
  • java code

• 1.2 hdfs操作命令

  • 1. 查看hdfs ls

    • hadoop fs -ls /

      [hadoop@bigdata12 bin]$ hadoop fs -ls /

    • hdfs dfs -ls /

      [hadoop@bigdata12 bin]$ hdfs dfs -ls /

  • 2. 创建文件夹 mkdir

    [hadoop@bigdata13 bin]$ hadoop fs -mkdir /hdfs01

    

  • 3. 移动、拷贝  mv cp

    • mv

      [hadoop@bigdata13 bin]$ hadoop fs -mv /data /hdfs01/
      //把data移动到hdfs01中

    • cp

      [hadoop@bigdata13 bin]$ hadoop fs -cp /data /hdfs01/
      //把data复制到hdfs01中

  • 4. 删除 rm
    

    [hadoop@bigdata12 bin]$ hadoop fs -rm -r /hdfs02

    • -skipTrash : hdfs回收站
      生产上：1.开启回收站 有效期至少7天以上

      [hadoop@bigdata13 hadoop]$ vim core-site.xml
      
      //插入
      <property>
              <name>fs.trash.interval</name>
              <value>10080</value>
      </property>

  • 补充  url

    • 1.hdfs上的文件    

      hdfs://bigdata32:9000/1.log
      /1.log
      [hadoop@bigdata13 ~]$ hadoop fs -ls hdfs://bigdata13:9000/1.log
      [hadoop@bigdata13 ~]$ hadoop fs -ls /1.log

    • 2.local 上的文件=>linux 

      file:///1.log: 
      [hadoop@bigdata13 ~]$ hadoop fs -ls file:home/hadoop/1.log

  • 5. 上传 下载

    • 上传：put copyfromlocal

      • put

        [hadoop@bigdata13 ~]$ hadoop fs -put ./3.log /
        

      • copyFromLocal

        ​​​​​​​[hadoop@bigdata13 ~]$ hadoop fs -copyFromLocal ./3.log /

    • 下载：get  copyFromLocal

      [hadoop@bigdata13 ~]$ hadoop fs -get /data ./
      

  • 6.权限

    • chmod : 权限

      [hadoop@bigdata13 tmp]$ hadoop fs -chmod 664 /1.log
      [hadoop@bigdata13 tmp]$ hadoop fs -ls /

    • chown ：拥有者

      [hadoop@bigdata13 tmp]$ hadoop fs -chown zihang:DL2262 /1.log
      [hadoop@bigdata13 tmp]$ hadoop fs -ls /

• 作业
   1.使用java api 操作 hdfs在 创建文件夹 
          /data/dt=20221114 
          /data/dt=20221115 
          /data/dt=20221116 
  2.使用java api 上传本地 wc.txt 到上面三个目录下 
  3.使用java api将 
         /data/dt=20221114/wc.txt 
         /data/dt=20221115/wc.txt 
         /data/dt=20221116/wc.txt 
        目录下的文件移动到指定目录并进行改名字 
        /data/hive/20221114-01.data 
        /data/hive/20221115-01.data 
        /data/hive/20221116-01.data I