hadoop单机部署,用来测试

最新推荐文章于 2024-08-07 22:15:50 发布

your_blue_sky

最新推荐文章于 2024-08-07 22:15:50 发布

阅读量452

点赞数

分类专栏：大数据-Hadoop 文章标签： hadoop单机部署伪集群 linux

本文链接：https://blog.csdn.net/papaaa/article/details/81585953

版权

本文详细介绍了如何在Linux环境下进行Hadoop 2.7.0的单机部署，包括Java环境配置、SSH和Rsync设置、Hadoop下载及环境变量设置。接着，文章深入讲解了standalone mode和pseudo-distributed mode的部署步骤，包括启动和停止Hadoop服务、执行MapReduce和YARN任务，并分析了可能遇到的问题和日志查看。

摘要由CSDN通过智能技术生成

转载自ee900222的博客

2. Hadoop安装

2.1 安装java

Hadoop是使用JAVA写的，所以需要先安装JAVA环境。

本次安装的是hadoop-2.7.0，需要JDK 7以上版本。

 yum install java-1.7.0-openjdk
 yum install java-1.7.0-openjdk-devel

安装后确认

java –version

2.2 需要ssh和rsync

Linux系统一般都已经默认安装了，如果没有，yum安装。
2.3 下载Hadoop

从官网下载Hadoop最新版2.7.0

 wget http://mirror.bit.edu.cn/apache/hadoop/common/hadoop-2.7.0/hadoop-2.7.0.tar.gz

将hadoop解压到/usr/local/下

 cd /usr/local/
 tar zxvf /root/hadoop-2.7.0.tar.gz

2.4 设置环境变量

设置JAVA的环境变量，JAVA_HOME是JDK的位置

 vi /etc/profile
export PATH=/usr/local/hadoop-2.7.0/bin:$PATH
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64

让设置生效

 source /etc/profile

设置Hadoop的JAVA_HOME

cd hadoop-2.7.0/
vi etc/hadoop/hadoop-env

最低0.47元/天解锁文章