Hadoop平台的搭建与使用

一、 实验目的
1.掌握在CentOS上安装部署Hadoop
2.了解Hadoop的相关配置文件
3.掌握JDK的安装
4.学会设置无密钥登录
二、 实验内容

  1. 设置免密钥登录配置
  2. 安装 JDK
    三、 实验过程描述
  3. 设置免密钥登录配置
    Master登陆Slave免密:
    1.执行ssh-keygen
    在这里插入图片描述
    2.ssh-copy-id root@Slave
    第一次要输入Slave密码
    之后ssh Slave就不要密码了。
    在这里插入图片描述
    同理:
    做Slave对Master免密:
    在Slave执行:ssh-keygen
    在这里插入图片描述

然后执行:ssh-copy-id root@Master
第一次要输入Master密码
之后ssh Master就不要密码了。

注:vi /etc/hosts可查看ip与其别名:
在这里插入图片描述
2. 安装 JDK
第一步上传上传对应的jdk压缩包。(上传工具用PSFTP)
在这里插入图片描述
在这里插入图片描述
第二步解压:

mv jdk-8u45-linux-x64.gz /usr/local/

tar -zxvf /usr/local/jdk-8u45-linu
在这里插入图片描述
保存后,使刚才编辑的文件生效:
source /etc/profile
测试是否安装成功:
java –version

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Hadoop是一个开源的大数据处理框架,主要用于分布式存储和处理海量数据。以下是Hadoop环境的基本搭建使用步骤: 1. **下载和安装**: - 官方下载Hadoop,通常选择Hadoop 2.x或更高版本,从Apache官网下载Hadoop Common、HDFS(Hadoop Distributed File System)和MapReduce组件。 - 根据操作系统(如Linux或Windows)安装Hadoop,通常会包括核心包、HDFS守护进程(NameNode和DataNode)、MapReduce守护进程(JobTracker和TaskTracker),以及配置工具Hadoop配置文件(core-site.xml, hdfs-site.xml等)。 2. **配置环境变量**: 在系统环境变量中添加Hadoop的bin目录,以便于命令行操作。 3. **验证安装**: 使用`hadoop version`命令检查Hadoop是否安装并正确配置。 4. **创建HDFS集群**: 初始化HDFS集群,通常涉及创建NameNode和DataNode节点。在启动Hadoop之前,先运行`bin/hadoop namenode -format`初始化HDFS。 5. **启动Hadoop服务**: 分别启动HDFS(通过start-dfs.sh或sbin/start-dfs.sh命令)和MapReduce(通过start-yarn.sh或sbin/start-yarn.sh)服务。 6. **上传数据到HDFS**: 使用`hadoop fs -put`命令将文件或目录上传到HDFS的默认路径`/user/$USER`。 7. **运行MapReduce任务**: 使用Hadoop提供的Hadoop Streaming或Hadoop Job Client(现在推荐使用YARN)编写MapReduce程序,并提交到YARN。 8. **查看日志和监控**: Hadoop提供了各种日志文件和监控工具,如Hadoop的日志目录(`/var/log/hadoop`)和HDFS的Web UI(http://namenode:50070)来查看集群状态。 9. **清理和停止服务**: 在任务完成后,记得关闭HDFS和MapReduce服务,避免资源浪费。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值