Ubuntu16.04下hadoop2.9.2安装配置

软件型号
VMware15pro
Ubuntu16.04LTS
hadoop2.9.2
jdk1.8.0

1、创建hadoop用户

使用sudo useradd -m hadoop -s /bin/bash命令创建hadoop用户,设置密码,增加管理员权限,更新apt

sudo useradd -m hadoop -s /bin/bash
sudo passwd hadoop
sudo adduser hadoop sudo
sudo apt-get update

2、ssh安装配置

首先要使用sudo apt-get install openssh-server命令

sudo apt-get install openssh-server
sh localhost
exit
cd ~/.ssh/
shh-keygen -g rsa

输入ssh localhost,登录ssh,第一次登录要输入yes
然后退出exit,设置ssh无密码登录,就要进入~/.ssh/目录,然后输入 ssh-keygen -t rsa,敲击三次回车,显示如下图像即成功
在这里插入图片描述
然后输入cat ./id_rsa.pub >> ./authorized_keys 加入无密登录授权,然后再输入ssh localhost,显示如下图像即成功

cat ./id_rsa.pub >> ./authorized_keys
ssh localhost

在这里插入图片描述

2、 java环境安装配置

先在官网.下载jdk安装包,然后进入下载的压缩包路径,解压到/usr/local目录下,进入这个目录,将文件更名为java,然后进入.bashrc文件添加:

cd ~/下载
sudo tar -xzf jdk-8u241-linux-x64.tar.gz -C /usr/local
cd /usr/local
sudo mv jdk1.8.0_241/ java
vim ~/.bashrc
source ~/.bashrc
java -version

然后进入.bashrc文件添加:

export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_241
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

使用source ~/.bashrc让环境变量生效,使用java-version检查是否配置完成
在这里插入图片描述

3、hadoop安装配置(单机)

hadoop 官网.下载。Hadoop 环境安装配置是和java步骤一样的,只是将jdk的压缩包名换为hadoop的压缩包名,而且将解压后的文件名改为hadoop,

 sudo tar -xzf hadoop-2.9.2.tar.gz -C /usr/local
 cd /usr/local
 sudo mv hadoop-2.9.2/ hadoop
 sudo chown -R hadoop ./hadoop 
 cd /usr/local/hadoop
 hadoop version

然后在.bashrc文件中插入:

#export HADOOP_HOME=/usr/local/hadoop
#export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
#export PATH=$PATH:$HADOOP_HOME/bin
export HADOOP_HOME=/usr/local/hadoop
export CLASSPATH=$($HADOOP_HOME/bin/hadoop classpath):$CLASSPATH
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

执行source ~/.bashrc命令,安装完成
在这里插入图片描述
Hadoop单机配置
进入解压的hadoop目录,创建一个input文件,运行 cp ./etc/hadoop/*.xml ./input命令将这个文件拷贝到input里面

cd /usr/local/hadoop
mkdir ./input
 cp ./etc/hadoop/*.xml ./input

在这里插入图片描述
在这里插入图片描述
运行cat ./output/*命令查看结果

cat ./output/*

在这里插入图片描述
实例完成后要删除结果文件,不然下次进行实例演示时会出错

rm -r ./output

在这里插入图片描述

1、hadoop伪分布式配置

进入/usr/local/hadoop目录

gedit ./etc/hadoop/hdfs-site.xml
gedit ./etc/hadoop/core-site.xml
./bin/hdfs namenode -format

在这里插入图片描述
将hdfs-site.xml文件中的改为:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/tmp/dfs/data</value>
    </property>
</configuration>

将core-site.xml文件中的改为:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

运行 ./bin/hdfs namenode -format 命令,实现namenode的格式化

 ./bin/hdfs namenode -format

在这里插入图片描述
再运行./sbin/start-dfs.sh来开启namenode和datanode,开启后使用jps查看是否开启成功

./sbin/start-dfs.sh
jps

在这里插入图片描述
可以访问web界面http://localhost:50070/dfshealth.html#tab-overview查看Namenode 和datanode信息
在这里插入图片描述
运行hadoop伪分布式实例:
使用./bin/hdfs dfs -mkdir -p /user/hadoop命令在HDFS中创建用户目录,然后将hadoop中的xml文件作为输入文件复制到hadoop下的input中,然后查看文件列表

./bin/hdfs dfs -mkdir -p /usr/hadoop
./bin/hdfs dfs -mkdir input
./bin/hdfs dfs -put ./etc/hadoop/*.xml input
./bin/hdfs dfs -ls input

在这里插入图片描述
然后伪分布式运行MapReduce,查看位于hdfs的输出结果,再将运行结果加载到本地

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-example-*.jar grep input output 'dfs[a-z.]+'
./bin/hdfs dfs -get output ./output
cat ./output/*

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
删除output文件,关闭hadoop

./bin/hdfs dfs -rm -r output
./sbin/stop-dfs.sh

在这里插入图片描述

2、yarn配置

进入/usr/local/hadoop目录,修改mapred-site.xml文件,yarn-site.xml文件
运行./sbin/start-yarn.sh命令启动yarn,然后运行jps查看后台进程,在浏览器
http://localhost:8088/cluster查看资源管理器

gedit etc/hadoop/mapred-site.xml
gedit etc/hadoop/yarn-site.xml
./sbin/start-yarn.sh
./sbin/mr-jobhistory-daemon.sh start historyserver
jps

修改mapred-site.xml文件

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
</configuration>

修改yarn-site.xml文件

<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
</configuration>

在这里插入图片描述

在这里插入图片描述
关闭yarn

./bin/stop-yarn.sh
./sbin/mr-jobhistory-daemon.sh stop historyserver

在这里插入图片描述

遇到的问题及解决办法

我配置完jdk后,就关闭了虚拟机,最后打开虚拟机进入hadoop用户,没有找到jdk,所以我又重新配置了一遍。所以在当前用户创建完hadoop用户后,要切换到hadoop用户进行jdk和hadoop的安装配置。
进入hadoop用户后发现Firefox浏览器打不开了,提示错误:“Your Firefox profile cannot be loaded.It may be missing or inaccessible”,百度发现是权限问题,使用ls -la查看文件权限,要将.mozilla文件的读取权限修改,sudo chown 777 hadoop:hadoop ./mozilla。并且要将.mozilla和.cache文件的root用户权限改为hadoop用户权限。(具体的我也没截图)这是更改之后的图
在这里插入图片描述
参考博客:
链接: https://www.cnblogs.com/sench/p/8542175.html.
链接: http://dblab.xmu.edu.cn/blog/install-hadoop/.

  • 2
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值