Giraph的安装

最新推荐文章于 2024-06-29 01:01:29 发布

橙子鱼o

最新推荐文章于 2024-06-29 01:01:29 发布

阅读量414

点赞数 1

本文链接：https://blog.csdn.net/qq_38603546/article/details/104646844

版权

本文档详细介绍了在Ubuntu 14.04LTS环境下，如何安装Giraph。首先，需要配置环境，包括安装JDK 1.8和Hadoop 2.5.1。接着，通过配置用户、用户组、SSH Server以及Hadoop的相关环境变量，完成Hadoop的安装和格式化。最后，在具备管理权限的用户下，安装git和maven，克隆Giraph源代码，进行编译。注意，如果遇到依赖下载问题，可调整maven的镜像源或使用代理。

摘要由CSDN通过智能技术生成

Graph官网：https://giraph.apache.org/

环境

Ubuntu 14.04LTS
jdk1.8
Hadoop 2.5.1
maven 3以上

配置

用户、用户组配置

sudo addgroup hadoop
sudo adduser --ingroup hadoop hduser

安装JDK

将下好的jdk-8u162-linux-x64.tar.gz解压，将目录改名为jdk1.8,并拷贝到/usr/local目录下。

sudo tar -zxvf jdk-8u162-linux-x64.tar.gz
mv jdk-8u162-linux-x64.tar.gz /usr/local/jdk1.8

切换到hduser用户下，将Java环境变量写入~/.bashrc中。

export JAVA_HOME=/usr/local/jdk1.8
export PATH=$PATH:$JAVA_HOME/bin

测试Java是否安装成果。

java -version

安装Hadoop

在具有管理权限的用户下，解压hadoop-2.5.1.tar.gz，改名为hadoop并改其所属用户和用户组。

sudo tar -zxvf hadoop-2.5.1.tar.gz
mv hadoop-2.5.1.tar.gz /usr/local/hadoop
cd /usr/local
sudo chown -R hduser:hadoop hadoop

安装SSH Server

sudo apt-get install openssh-server

在hduser下,生成密钥对

cd ~/.ssh/
ssh-keygen -t rsa
cat ./id_rsa.pub >> ./authorized_keys

设置Hadoop的环境变量，编辑~/.bashrc

export HADOOP_HOME=/usr/local/hadoop

编辑Hadoop目录下的etc/hadoop/core-site.xml

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/app/hadoop/tmp</value>
    </property>
    <property>
        <name>fs.defaultFS