hadoop的开发环境部署(2)

hadoop的开发环境部署(2)

安装hadoop系统

1.在hadoop官网下载压缩包(用迅雷下载更迅速)。

将压缩包放入共享文件夹中(虚拟机共享文件夹的创建,详情请移步另一文章)。

将压缩包解压:

sudo tar zxvf hadoop-2.9.2.tar.gz -C /usr/local

后将此文件夹更名为hadoop:

cd /usr/local

mv ./hadoop-2.9.2/ ./hadoop

修改文件权限:

sudo chown -R hadoop ./hadoop

hadoop解压成功即可使用,现检查一下hadoop是否能够使用:

cd /usr/local/hadoop/

./bin/hadoop version

出现结果如下:

在这里插入图片描述

至此,hadoop在虚拟机Linux环境中初步部署成功。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop伪集群部署是一种在单个节点上模拟多个Hadoop节点的方式,用于开发、测试和学习Hadoop的功能。以下是一个简单的步骤来进行Hadoop伪集群部署: 1. 下载和安装Hadoop:从Apache Hadoop官方网站下载最新版本的Hadoop,并按照官方文档中的指南进行安装。 2. 配置Hadoop环境变量:设置JAVA_HOME和HADOOP_HOME环境变量,以便系统能够找到相关的Java和Hadoop安装路径。 3. 配置Hadoop的核心文件:编辑hadoop-env.sh文件,设置JAVA_HOME变量和其他必要的环境变量。编辑core-site.xml文件,为Hadoop设置核心配置,如文件系统和默认端口。 4. 配置Hadoop的HDFS文件系统:编辑hdfs-site.xml文件,设置HDFS相关配置,如副本数量和数据存储路径。 5. 配置Hadoop的YARN资源管理器:编辑yarn-site.xml文件,设置YARN资源管理器相关配置,如内存和虚拟内核数等。 6. 配置Hadoop的MapReduce框架:编辑mapred-site.xml文件,设置MapReduce框架相关配置,如作业跟踪器和任务调度器等。 7. 格式化HDFS文件系统:执行命令`hdfs namenode -format`来格式化HDFS文件系统,创建必要的目录和文件。 8. 启动Hadoop伪集群:执行命令`start-dfs.sh`来启动HDFS服务,然后执行命令`start-yarn.sh`来启动YARN服务。 9. 验证Hadoop伪集群:在浏览器中访问Hadoop的Web界面,如NameNode的地址`http://localhost:50070`和ResourceManager的地址`http://localhost:8088`,以验证Hadoop伪集群是否成功部署。 通过以上步骤,你可以在单个节点上模拟一个包含HDFS和YARN的Hadoop集群,以便进行开发、测试和学习。请注意,这只是一个简单的伪集群部署示例,实际部署可能会根据你的需要和环境而有所不同。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值