单机安装Hadoop环境

本文详细介绍了如何在单机上安装Hadoop,包括安装SSH无密码登录、配置Java环境、下载安装Hadoop 2.9,以及进行伪分布式配置。重点讲解了配置core-site.xml和hdfs-site.xml的过程,以及启动、检查和运行Hadoop实例的步骤。在配置过程中,强调了可能遇到的问题及解决方案,如设置HADOOP_HOME环境变量。
摘要由CSDN通过智能技术生成

单机安装Hadoop环境

1.安装SSH、配置SSH无密码登陆

集群、单节点模式都需要用到 SSH 登陆(类似于远程登陆,你可以登录某台 Linux 主机,并且在上面运行命令),Ubuntu 默认已安装了 SSH client,此外还需要安装 SSH server:

sudo apt-get install openssh-server
ssh localhost

之后退出ssh:

exit                                             # 退出刚才的 ssh localhost

配置无密码登录:

cd ~/.ssh/                                      # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa                            # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys     # 加入授权

2.安装Java环境

sudo mv jdk-9.0.1 java
sudo mv java /usr/local/
cd /usr/local
sudo gedit ~/.bashrc           #修改当前用户环境变量

添加如下信息

export JAVA_HOME=/usr/local/java
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin

source ~/.bashrc

sudo gedit /etc/environment #修改系统环境变量

JAVA_HOME=”/usr/local/java”
CLASSPATH=”.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib”
PATH=”/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin:/usr/games:/usr/local/games:$JAVA_HOME/bin:/usr/local/hadoop/sbin:/usr/local/hadoop/bin”

source /etc/environment 
java -version   #查看安装好的java版本,如下图

java版本

3.安装 Hadoop 2.9

download link: http://mirror.bit.edu.cn/apache/hadoop/common/

tar -zxvf hadoop-2.9.0.tar.gz 
sudo mv ./hadoop-2.9.0 ./hadoop
sudo chown -R hadoopp ./ha
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值