配置Ceph FS作为Hadoop的后端存储

最新推荐文章于 2024-09-03 16:13:28 发布

ZHANGJNWEI

最新推荐文章于 2024-09-03 16:13:28 发布

阅读量1.3k

点赞数

分类专栏： ceph

本文链接：https://blog.csdn.net/ZHANGJNWEI/article/details/107214752

版权

本文详细介绍了如何配置Ceph文件系统（Ceph FS）作为Hadoop的数据存储后端，通过步骤指导读者理解并实现这一集成过程，旨在提升大数据处理的存储效率和可靠性。

摘要由CSDN通过智能技术生成

##（1）安装Ceph FS的java接口库
# yum install cephfs-java libcephfs-devel python-cephfs libcephfs_jni-devel
##（2）安装Hadoop 
# wget -c https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/stable/hadoop-3.2.1.tar.gz
# tar xzf hadoop-3.2.1.tar.gz && cd hadoop-3.2.1
## 配置libcephfs_jni-devel动态链接库
# cd lib/native
# ln -s /usr/lib64/libcephfs_jni.so .
## 下载hadoop-cephfs.jar
# wget -c http://download.ceph.com/tarballs/hadoop-cephfs.jar
# cp hadoop-cephfs.jar /usr/share/java
## （3）修改hadoop的运行配置文件
----------------------------------------------------
1: hadoop-env.sh 
--添加
export HADOOP_CLASSPATH=/usr/share/java/hadoop-cephfs.jar:/usr/share/java/libcephfs.jar:$HADOOP_CLASSPATH
2: core-site.xml
<configuration>
<property>
    <name>hadoop.tmp.dir</name>
    <value>/tmp/hadoop</value>
</property>
<property>
    <name>fs.default.name</name>
    <value>cep