educoder-Hadoop开发环境搭建各关卡通关答案

第1关:配置开发环境 - JavaJDK的配置

mkdir /app

cd /opt

tar -zxvf jdk-8u171-linux-x64.tar.gz

mv jdk1.8.0_171/ /app

vim /etc/profile

光标移动到文件末尾
i

JAVA_HOME=/app/jdk1.8.0_171
CLASSPATH=.:$JAVA_HOME/lib/tools.jar
PATH=$JAVA_HOME/bin:$PATH
export JAVA_HOME CLASSPATH PATH

按esc键

冒号shift+:

wq

source /etc/profile

第2关:配置开发环境 - Hadoop安装与伪分布式集群搭建

cd /opt
tar -zxvf hadoop-3.1.0.tar.gz -C /app
cd /app
mv hadoop-3.1.0/ hadoop3.1

提示:如果出现文件解压大小限制的情况,可以使用 ulimit -f 1000000 命令来解除限制。

ssh-keygen -t rsa -P ''

回车

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
chmod 600 ~/.ssh/authorized_keys
vim /etc/ssh/sshd_config
在文件中找到这三个



找到之后,移动光标

i
1
删掉开头的 # 和下图内容相同



cd /app/hadoop3.1/etc/hadoop/

vim hadoop-env.sh

i
# The java implementation to use.  
#export JAVA_HOME=${JAVA_HOME}  
export JAVA_HOME=/app/jdk1.8.0_171

按esc键

冒号,shift+:

wq

vim yarn-env.sh

i

export JAVA_HOME=/app/jdk1.8.0_171

按esc键

冒号,shift+:

wq

vim core-site.xml

在文件末尾的configuration标签中添加代码如下:
 <property>  
    <name>fs.default.name</name>  
    <value>hdfs://localhost:9000</value>  
    <description>HDFS的URI,文件系统://namenode标识:端口号</description>  
</property>  
<property>  
    <name>hadoop.tmp.dir</name>  
    <value>/usr/hadoop/tmp</value>  
    <description>namenode上本地的hadoop临时文件夹</description>  
</property>  

按esc键

冒号,shift+:

wq

vim hdfs-site.xml

在文件末尾的configuration标签中添加代码如下:
<property>  
    <name>dfs.name.dir</name>  
    <value>/usr/hadoop/hdfs/name</value>  
    <description>namenode上存储hdfs名字空间元数据 </description>   
</property>  
<property>  
    <name>dfs.data.dir</name>  
    <value>/usr/hadoop/hdfs/data</value>  
    <description>datanode上数据块的物理存储位置</description>  
</property>  
<property>  
    <name>dfs.replication</name>  
    <value>1</value>  
</property>  

按esc键

冒号,shift+:

wq

vim mapred-site.xml

在文件末尾的configuration标签中添加代码如下:
<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
</property>

按esc键

冒号,shift+:

wq

vim yarn-site.xml

在文件末尾的configuration标签中添加代码如下:
<property>  
        <name>yarn.nodemanager.aux-services</name>  
        <value>mapreduce_shuffle</value>  
</property>  
<property>  
        <name>yarn.resourcemanager.webapp.address</name>  
        <value>192.168.2.10:8099</value>  
        <description>这个地址是mr管理界面的</description>  
</property>  

按esc键

冒号,shift+:

wq

mkdir -p /usr/hadoop/tmp 

mkdir /usr/hadoop/hdfs 

mkdir /usr/hadoop/hdfs/data 

mkdir /usr/hadoop/hdfs/name

vim /etc/profile

文件末尾插入以下代码:
#set Hadoop Enviroment
export HADOOP_HOME=/app/hadoop3.1
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

按esc键

冒号,shift+:

wq

source /etc/profile
hadoop namenode -format

cd /app/hadoop3.1/sbin

vim start-dfs.sh

i

回车键换行

在文件顶部添加以下参数:
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

按esc键

冒号,shift+:

wq

vim stop-dfs.sh

i

回车键换行

在文件顶部添加以下参数:
#!/usr/bin/env bash
HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

按esc键

冒号,shift+:

wq

vim start-yarn.sh

i
回车键换行

在文件顶部添加以下参数:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

按esc键

冒号,shift+:

wq

vim stop-yarn.sh
i

回车键换行

在文件顶部添加以下参数:
#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

按esc键

冒号,shift+:

wq

start-dfs.sh

jps
  • 24
    点赞
  • 221
    收藏
    觉得还不错? 一键收藏
  • 20
    评论
要搭建Hadoop开发环境,需要进行以下步骤。首先,我们需要安装Java开发环境,因为Hadoop是运行在Java平台上的。可以从Oracle官网下载并安装最新版本的Java开发工具包(JDK)。 接下来是安装Hadoop本身。从Apache官方网站上下载最新的Hadoop发行版。解压下载的文件,并将解压后的文件夹移动到合适的位置。然后,我们需要编辑Hadoop的配置文件。 主要的配置文件是core-site.xml,hdfs-site.xml和mapred-site.xml。在core-site.xml中,设置Hadoop的默认文件系统为HDFS,并配置Namenode的地址。在hdfs-site.xml中,我们可以设置数据副本的数量和数据块大小等HDFS的属性。在mapred-site.xml中,可以配置MapReduce的参数,如任务并行度等。 在配置完这些文件后,还需要在Hadoop集群中设置一个全局环境变量HADOOP_HOME,将Hadoop的安装路径赋值给它。 接下来,我们需要格式化HDFS文件系统。打开终端并输入命令“hadoop namenode -format”来进行格式化。 最后,我们需要启动Hadoop集群。在终端中输入命令“start-all.sh”来启动Hadoop的各个组件(如Namenode、Datanode、JobTracker等)。 搭建完Hadoop开发环境后,可以通过编写Java代码来开发Hadoop应用程序。可以使用Hadoop的Java API来操作HDFS(如上传、下载文件等)、编写MapReduce程序等。 总结起来,搭建Hadoop开发环境的关键步骤包括安装Java环境、安装Hadoop、编辑配置文件、设置环境变量、格式化HDFS文件系统和启动Hadoop集群。在搭建完成后,可以使用Hadoop的Java API来进行开发工作。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 20
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值