Jdk+Hadoop三种安装模式实验报告

本文详细记录了JDK与Hadoop的安装配置过程,包括单机模式、伪分布式和完全分布式三种模式。首先介绍了JDK的安装,接着详细阐述了Hadoop的配置步骤,包括修改核心、HDFS、MapReduce、YARN和Slaves等配置文件,以及启动和验证过程。最后通过运行wordcount程序验证了配置的成功。
摘要由CSDN通过智能技术生成

1.JDK+Hadoop安装配置、单机模式配置

jkd对我来说以及是老朋友了,这里没什么是陌生的,虽然Hadoop没有学习过,但是它和jdk大同小异,都是实现一定功能,下面就开始jdk和Hadoop的安装。

首先呢连接上SecureCRT,关闭Linux的防火墙,firewall-cmd --state,传输jdk和Hadoop的安装包到linux下,SecureCRT 【File】→【Connect SFTP Session】开启sftp操作,

put  jdk-8u121-linux-x64.tar.gz 

put  hadoop-2.7.3.tar.gz

传输文件从本地当前路径(Windows)到当前路径(Linux),

tar  -zxvf  jdk-8u121-linux-x64.tar.gz  -C  /opt/module  解压安装

tar  -zxvf  hadoop-2.7.3.tar.gz  -C  /opt/module  解压安装

配置Jdk和Hadoop并生效

vi /etc/profile文件添加:

export JAVA_HOME=/opt/module/jdk1.8.0_121

export PATH=$JAVA_HOME/bin:$PATH

export HADOOP_HOME=/opt/module/hadoop-2.7.3

export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出

source /etc/profile配置生效

运行命令javac、Hadoop,检验是否成功。

最后呢运行Hadoop自带的wordcount程序

cd /opt/module/hadoop-2.7.3/share/hadoop/mapreduce 转入wordcount所在路径。

创建adir文件夹:

hadoop fs -mkdir /adir

查看所创建的文件:

hadoop fs -ls /

运行touch in.txt,创建In.txt文件,作为输入文件。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值