Hadoop----hdfs的基本操作

2019独角兽企业重金招聘Python工程师标准>>>

HDFS操作文件的基本命令

1.创建文件夹  $>hdfs dfs -mkdir /user/centos/hadoop
2.展示目录    $>hdfs dfs -ls -r /user/centos/hadoop
3.递归展示    $>hdfs dfs -lsr /user/centos/hadoop
4.上传文件    $>hdfs dfs -put index.html /user/centos/hadoop
5.下载文件    $>hdfs dfs -get /user/centos/hadoop/index.html a.html
6.删除文件    $>hdfs dfs -rm -r -f /user/centos/hadoop

----------------

HDFS存储

    500G  文件
    1024G = 2T/4T 文件
    切割。
    //切割    
    block: 切割：128M    原因： 让寻址时间占用读取时间的1%.
    寻址时间:10ms左右
    磁盘速率 : 100M /s【磁盘I/O】

HDFS 文件存储： >128M的切割分块。 如果配置了备份数，则按照备份数进行备份 放到各个数据节点

    size = 181260798
    block-0 : 134217728
    block-1 :  47043070 
    --------------------

    b0.no : 1073741829
    b1.no : 1073741830

找到所有的配置文件
----------------------

1.tar开hadoop-2.7.3.tar.gz
    hadoop-2.7.3\share\hadoop\common\hadoop-common-2.7.3.jar\core-default.xml     文件存放位置    fs.defaultFS=file:///    
    hadoop-2.7.3\share\hadoop\hdfs\hadoop-hdfs-2.7.3.jar\hdfs-default.xml                 文件副本数    dfs.replication 
    hadoop-2.7.3\share\hadoop\mapreduce\hadoop-mapreduce-client-core-2.7.3.jar\mapred-default.xml
    hadoop-2.7.3\share\hadoop\yarn\hadoop-yarn-common-2.7.3.jar\yarn-site.xml

 

2.配置[core-site.xml]文件
    <configuration>
            <property>
                    <name>fs.defaultFS</name>
                    <value>hdfs://s201/</value>
            </property>
            <!--- 配置新的本地目录 -->
            <property>
                    <name>hadoop.tmp.dir</name>
                    <value>/home/centos/hadoop</value>
            </property>
    </configuration>

--------基本思路------------------------

1.hdfs dfs -mkdir /usr/centos/hadoop  : 创建文件夹
2.hdfs dfs -lsr /usr/centos/hadoop ：查看文件目录
3.hdfs dfs -put index.html /usr/centos/hadoop : 上传文件index.html 到 /usr/centos/hadoop

4.通过上传文件到hdfs后, namenode名称节点通过slave配置datanode数据节点后， nn（名称节点）的hdfs-site.xml中配置了副本数，nm(名称节点)的hdfs-site.xml中配置数据存放位置。如果上传的文件 大于128M，hdfs将会对文件进行切割，每块（blcok）128M[为了满足 寻址时间为读取文件是的的 1%]。

 

 

 

转载于:https://my.oschina.net/u/2870118/blog/3014575