hadoop数据库存储格式

厶懿

于 2024-08-25 03:51:00 发布

阅读量120

点赞数

文章标签： hadoop 数据库大数据分布式

我整理的一些关于【数据存储,数据库,HA】的项目学习资料（附讲解～～）和大家一起分享、学习一下：

https://d.51cto.com/f2PFnN

Hadoop数据库存储格式科普

Hadoop是一个开源的分布式计算框架，广泛应用于大数据的存储和处理，其中数据存储格式的选择对性能和效率至关重要。本文将介绍一些常用的Hadoop数据存储格式，包括文本格式、Sequence File、Avro和Parquet，同时提供代码示例进行说明。

1. 文本格式

文本格式是最简单的Hadoop存储格式，数据以纯文本文件的形式存储。每行代表一条记录，字段之间用特定分隔符（如逗号或制表符）隔开。文本格式易于理解，但在处理大型数据时性能较差。

示例代码

from pyspark import SparkContext

sc = SparkContext("local", "Text File Example")
data = sc.textFile("hdfs://path/to/textfile.txt")
print(data.collect())

2. Sequence File

Sequence File是Hadoop提供的一种二进制文件格式，主要用于存储键值对。由于其二进制特性，Sequence File在读写性能上远高于文本格式，适合存储中间数据。

示例代码

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.SequenceFile;
import org.apache.hadoop.io.SequenceFile.Writer;

public class SequenceFileExample {
    public static void main(String[] args) throws Exception {
        Configuration conf = new Configuration();
        Path path = new Path("hdfs://path/to/sequencefile.seq");
        Writer writer = SequenceFile.createWriter(conf, Writer.file(path),
                Writer.keyClass(IntWritable.class), Writer.valueClass(IntWritable.class));

        for (int i = 0; i < 10; i++) {
            writer.append(new IntWritable(i), new IntWritable(i * 2));
        }
        writer.close();
    }
}

3. Avro

Avro是一种数据序列化系统，支持动态模式和结合能力的Schema。Avro在数据的压缩和传输方面表现良好，特别适合需要频繁更新或变化的数据。

示例代码

import avro.datafile
import avro.io
import avro.schema

schema = avro.schema.parse(open("user.avsc").read())
with open("users.avro", "wb") as out_file:
    writer = avro.datafile.DataFileWriter(out_file, avro.io.DatumWriter(), schema)
    writer.append({"name": "John", "age": 30})
    writer.append({"name": "Jane", "age": 25})
    writer.close()

4. Parquet

Parquet是一种列式存储格式，特别适合于分析型工作负载。它提供了更高效的数据压缩和读写性能，尤其是在处理复杂数据类型时表现突出。Parquet的使用场景非常广泛，特别适合Hadoop生态系统中的Spark、Hive等工具。

示例代码

import pandas as pd

# 创建一个DataFrame
data = {
    "name": ["Alice", "Bob", "Cathy"],
    "age": [29, 31, 24]
}
df = pd.DataFrame(data)

# 将DataFrame写入Parquet文件
df.to_parquet("data.parquet")