阿里云搭建单机Hadoop之HDFS

本文档详细介绍了在阿里云环境中配置Java环境、安装SSH、安装Hadoop并启动HDFS的过程。遇到的问题包括核心配置文件的错误、NameNode启动失败等,并提供了错误排查和解决方法。
摘要由CSDN通过智能技术生成

配置Java环境

JDK安装

# tar -zxvf xxxx.tar.gc -C ~/app
# 环境变量
# vim ~/.bash_profile

编辑内容

 export JAVA_HOME=/home/hadoop/app/jdk路径
 export PATH=$JAVA_HOME/bin:$PATH

**使其生效

# source ~/.bash_profile
# java -version

SSH 安装

centos环境:

# sudo yum install ssh

配置免密登录:方便DN NN

# ssh-keygen -t rsa

查看隐藏文件 : ls -la(-a 标识全显示,包括隐藏)
将生成的文件进行复制

# cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

Hadoop安装

这里提供下载地址,和官方说明文档,一些配置可以直接进行cp,这里使用的是cdh版的,后续文章会讲解hadoop各个版本的介绍和选择。
http://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html
http://archive.cloudera.com/cdh5/cdh/5/ - ha

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值