C++ 使用libhdfs 连接hadoop HDFS并写入数据

一、配置环境变量

1、查看 CLASSPATH

echo $CLASSPATH

• 若为空，则进行配置CLASSPATH

2、配置CLASSPATH

• 第一种方法：修改 ~/.bashrc 内容

vi ~/.bashrc

# 添加如下内容
export CLASSPATH=`hadoop classpath`:$CLASSPATH

source ~/.bashrc

• 第二种方法：修改 /etc/profile 内容

sudo vi /etc/profile

# 添加如下内容
export CLASS_PATH=$CLASS_PATH:`hadoop classpath`

# 随后保存退出

source /etc/profile

3、验证CLASSPATH是否配置好

echo $CLASSPATH

# 若为正常的一长串hadoop路径，则说明CLASSPATH配置完成

4、配置 /etc/profile 文件

• 添加如下环境变量

export JRE_HOME=$JAVA_HOME/jre
export CLASS_PATH=$CLASS_PATH:`hadoop classpath`
export PATH=$PATH:$JAVA_HOME/bin
export LD_LIBRARY_PATH=/export/server/hadoop-3.3.4/lib/native/:$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib/amd64/server

# 对应的jdk、hadoop安装目录，请自行斟酌判断后修改

二、编写 C 程序连接HDFS

• 文件名：fs.c

#include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include "hdfs.h"	// hdfs头文件

int main(int argc, char **argv)
{
    // 连接NameNode主节点
    hdfsFS fs = hdfsConnect("192.168.48.1", 8020);
    
    // 要写的文件路径
    const char *writePath = "/data_test/x.txt";
    
    // 打开路径下的文件
    hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY | O_CREAT, 131072, 1, 134217728);
    if (!writeFile)
    {
        fprintf(stderr, "Failed to open %s for writing!\n", writePath);
        exit(-1);
    }
    
    // 进行文件数据的写入
    char buffer[] = "Hello, World!";
    tSize num_written_bytes = hdfsWrite(fs, writeFile, &buffer, strlen(buffer) + 1);
    if (hdfsFlush(fs, writeFile))
    {
        fprintf(stderr, "Failed to 'flush' %s\n", writePath);
        exit(-1);
    }
    
    // 关闭文件
    hdfsCloseFile(fs, writeFile);
    return 0;
}

三、使用 gcc 命令编译 C 程序

• 编译文件：fs.c
• 生成目标运行文件：sample

gcc fs.c -I$HADOOP_HOME/include -L$HADOOP_HOME/lib/native -lhdfs -o sample

• 运行程序

./sample