Hadoop ( 四 ) 文件操作|IO操作|sequenceFile

hadoop 文件系统的操作：

    1> hadoop fs <====>  hdfs dfs 命令
    2> 创建文件夹：[-mkdir [-p] <path> ...]
    3> 删除文件夹：[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
    4> 打开文件系统中的文件： [-cat [-ignoreCrc] <src> ...]
    5> 复制文件系统中的文件: [-cp [-f] [-p | -p[topax]] [-d] <src> ... <dst>]
    6> 从本地文件复制到hadoop文件系统中：[-copyFromLocal [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
        <======> [-put [-f] [-p] [-l] [-d] <localsrc> ... <dst>]
    7> 将hadoop文件系统中的文件复制到本地： [-copyToLocal [-f] [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
    8> 将hadoop系统中的文件重命名移动到另一个文件夹: [-mv <src> ... <dst>]
    9> 将本地文件移动到hadoop文件系统中：[-moveFromLocal <localsrc> ... <dst>]
    10> 将hadoop文件系统中的文件移动到本地： [-moveToLocal <src> <localdst>]

hadoopIO操作

hadoop压缩与解压缩

空间效能：Bzip2 > Deflate > Gzip > Lzo > Lz4 > Snappy 
压缩时间: Lz4 > Snappy > Lzo > Gzip > Deflate > BZip2
解压缩时间：Lzo > Gzip > Lz4 > Snappy > Deflate > BZip2

sequenceFile 与MapFile

<?xml version="1.0"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
  xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd">
    <modelVersion>4.0.0</modelVersion>  固定版本号
  <groupId>com.hadoop.gplcompression</groupId>
  <artifactId>hadoop-lzo</artifactId>
  <version>0.4.21-SNAPSHOT</version>
  <name>hadoop-lzo</name>
   <dependencies>
        <!-- 单元测试 -->
        <dependency>
            <groupId>junit</groupId>
            <artifactId>junit</artifactId>
            <version>4.11</version>
            <scope>test</scope>
        </dependency>
    </dependencies>
</project>


// mvn编译，打包
mvn clean install 

sequenceFile
---------------------------
ubuntu@s100:~$ hdfs dfs -text /user/ubuntu/myseqFile.seq
18/02/03 17:50:01 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
18/02/03 17:50:01 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
0   Tom0
1   Tom1

ubuntu@s100:~$ hdfs dfs -cat /user/ubuntu/myseqFile.seq
SEQ org.apache.hadoop.io.IntWritableorg.apache.hadoop.io.Text*org.apache.hadoop.io.compress.DefaultCodec�ɞ��H
                                  ��*GAx�c  ��5�ex�c   ��5�fx�c  ��5�gx�c  ��5�hx�c  ��5�ix�c   ��5�jx�c   ��5�kx�c   ��5�lx�c �ϵ�m    x�c �ϵ�n
��54]�
��54^��c
��57k������ɞ��H

mapFile:

ubuntu@s100:~$ hdfs dfs -text  /user/ubuntu/mapfile.map/data
18/02/03 20:37:29 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
18/02/03 20:37:29 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
0   Tom0
1   Tom1
2   Tom2

ubuntu@s100:~$ hdfs dfs -cat  /user/ubuntu/mapfile.map/index
SEQ org.apache.hadoop.io.IntWritable!org.apache.hadoop.io.LongWritable*org.apache.hadoop.io.compress.DefaultCodec#�ȿm �ЧD�o�"����#�ȿm �ЧD�o�"x�c
   x�c``` x��     
                            x�c`���

mapfile设置索引间隔

conf.set("io.map.index.interval","20");
查看索引文件：ubuntu@s100:~$ hdfs dfs -text  /user/ubuntu/mapfile.map/index
18/02/04 06:37:20 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
18/02/04 06:37:20 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
18/02/04 06:37:21 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
18/02/04 06:37:21 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
18/02/04 06:37:21 INFO compress.CodecPool: Got brand-new decompressor [.deflate]
0   128
20  638
40  1158
60  1678
80  2218

获取索引间隔值：writer.getIndexInterval();

总结:

MapFile:
是排序的sequenceFile，具有索引：
    index(seq)+data(seq)
    要求文件是按照大小顺序添加的，
    index：索引和偏移量的映射（seq），可以设置间隔值，默认是128
           可以通过io.map.index.interval设置间隔值，可以进行折半查找
    data: key----value
    可以寻找指定key最近的key,可以设置是否向前寻找

将seqFile转换成MapFile文件：通过fix（）方法实现