利用libhdfs访问分布式文件系统（hdfs）

操作系统：Ubuntu 16.04

Hadoop版本：2.7.3

Java版本：1.8.0_131

 

参考：

    http://www.cnblogs.com/yedezhanghao/archive/2012/07/30/2615818.html

 

一：libhdfs环境配置

    需要把jar包加入到CLASSPATH中。

修改 /etc/profile文件

    添加以下内容：

export JAVA_HOME=/opt/jdk1.8.0_131     # java的主目录

export JAVA_BIN=$JAVA_HOME/bin     # java的bin目录

export JAVA_LIB=$JAVA_HOME/lib            # java的lib目录

export CLASSPATH=.:$JAVA_LIB/tools.jar:$JAVA_LIB/dt.jar     # classpath路径

export PATH=$JAVA_HOME/bin:$PATH     # java的主目录添加到path路径

 

 

# 以下将hadoop的*.jar包，添加到CLASSPATH下面

for i in /opt/hadoop-2.7.3/share/hadoop/hdfs/*.jar

do

    CLASSPATH=$CLASSPATH:$i

done

 

for i in /opt/hadoop-2.7.3/share/hadoop/hdfs/lib/*.jar

do

    CLASSPATH=$CLASSPATH:$i

done

 

for i in /opt/hadoop-2.7.3/share/hadoop/common/*.jar

do

    CLASSPATH=$CLASSPATH:$i

done

 

for i in /opt/hadoop-2.7.3/share/hadoop/common/lib/*.jar

do

    CLASSPATH=$CLASSPATH:$i

done

 

export CLASSPATH # 导出CLASSPATH

 

export HADOOP_HOME=/opt/hadoop-2.7.3

 

 

二：动态连接库的配置

（1）在/etc/ld.so.conf.f目录下，添加hdfs.conf文件

# hdfs default configuration

/opt/hadoop-2.7.3/lib/native

/opt/jdk1.8.0_131/jre/lib/amd64/server

    （2）执行以下命令，使其生效

    ldconfig –v

 

三：Makefile的编写

HADOOP_HOME=/opt/hadoop-2.7.3

JAVA_HOME=/opt/jdk1.8.0_131

CPPFLAGS= -I/opt/hadoop-2.7.3/include

LIB = -L/opt/hadoop-2.7.3/lib/native

libjvm=/opt/jdk1.8.0_131/jre/lib/amd64/server/libjvm.so

LDFLAGS += -lhdfs

 

hadoop: hadoopTest.c

    gcc hadoopTest.c $(CPPFLAGS) $(LIB) $(LDFLAGS) $(libjvm) -o hadoop

 

clean:

    rm hadoop

 

 

四：测试代码

#include "/opt/hadoop-2.7.3/include/hdfs.h"

#include <stdlib.h>

#include <stdio.h>

 

int main(int argc, char **argv) {

 

hdfsFS fs = hdfsConnect("192.168.1.150", 9000); // 服务器ip地址，端口号默认为9000

const char* writePath = "/herb.txt";

hdfsFile writeFile = hdfsOpenFile(fs, writePath, O_WRONLY|O_CREAT, 0, 0, 0);

if(!writeFile) {

fprintf(stderr, "Failed to open %s for writing!\n", writePath);

exit(-1);

}

char* buffer = "Hello, World!";

tSize num_written_bytes = hdfsWrite(fs, writeFile, (void*)buffer, strlen(buffer)+1);

if (hdfsFlush(fs, writeFile)) {

fprintf(stderr, "Failed to 'flush' %s\n", writePath);

exit(-1);

}

hdfsCloseFile(fs, writeFile);

}

 

常见问题：

参考：http://www.cnblogs.com/yedezhanghao/archive/2012/07/30/2615818.html

问题：Exception in thread "main" java.lang.NoClassDefFoundError:org/apache/commons/configuration/Configuration……

解决方案：

肯定是CLASSPATH路径没有设置正确，没有添加到所需的jar包，回到上文查看libhdfs环境变量配置即可。

问题：error while loading shared libraries: libhdfs.so.0:cannot open shared object file: No such file or directory

解决方案：

先将libhdfs.so.0删除rm ./libhdfs.so.0
重新创建一个链接ln -s ./libhdfs.so.0.0.0 ./libhdfs.so.0  
在/etc/ld.so.conf中加入一行

/usr/local/hadoop/hadoop-0.21.0/c++/Linux-i386-32/lib

保存退出后，执行ldconfig -v使其生效

问题：配置环境后，提示CLASSPATH=……：No such file or directory

解决方案：

还是CLASSPATH配置错误。如循环添加hadoop的jar包，直接复制网上代码，从而导致出错。

原因是网上代码与vim内字符集不同，CLASSPATH=$CLASSPATH:$i 前面的空格与vim内看似一样实则不一样，因此我一个下午就废在这里了。

 

Call to master/192.168.41.134:9000 failed on connection exception: java.net.ConnectException: Conne

一般造成错误的原因可能为：

1.hadoop未启动（未全部启动），hadoop正常启动包括以下几个服务，如果服务没有全部启动，可以查看日志，根据日志查找原因

2.伪分布模式安装，在配置文件是使用了localhost 或 127.0.0.1，此时应该改为真实的ID，包括core-site.xml,mapred-site.xml,slaves,

masters,修改IP后，dataNode可能会无法启动，

把hdfs-site.xml 配置文件里面 dfs.data.dir 的值：

 <property>  
                <name>dfs.data.dir</name>  
                <value>/data/hdfs/data</value> 
 </property>  

中的文件夹中的所有文件删掉，重启hadoop