Ubuntu16.04 hadoop2.7.3 伪分布配置

最新推荐文章于 2024-04-20 17:44:59 发布

hello_baby_168

最新推荐文章于 2024-04-20 17:44:59 发布

阅读量1.5k

点赞数 2

分类专栏： hadoop 文章标签： hadoop ubuntu

本文链接：https://blog.csdn.net/weixin_38676040/article/details/78385436

版权

hadoop 专栏收录该内容

4 篇文章 0 订阅

订阅专栏

一、在Ubuntu配置java环境变量

我是下载jdk1.8.0_151最新版本的。官方网站：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

（因为我是Linux64位的，就下载了jdk-8u151-linux-x64.tar.gz）
1.vim /etc/profile

#我的java根目录是/java
export JAVA_HOME=/java/jdk1.8.0_151
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

二、安装ssh-server并实现免密码登录
1.在Ubuntu中下载ssh-server

sudo apt-get install openssh-server

2.启动ssh-server

sudo /etc/init.d/ssh start

出现以下字样

[ ok ] Starting ssh (via systemctl): ssh.service.

查看ssh-server服务是否启动

 ps -ef|grep ssh

如果出现下面情况：

root       1073      1  0 13:05 ?        00:00:00 /usr/sbin/sshd -D
root       6799   2245  0 14:02 pts/19   00:00:00 grep --color=auto ssh

说明ssh-server启动成功

3.设置ssh-server免密码登录

使用如下命令，一直回车，直到生成了rsa

ssh-keygen -t rsa

导入authorized_keys：

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

测试可不可以免密码登录了

ssh localhost

如果出现以下情况：

Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.10.0-28-generic x86_64)

 * Documentation:  https://help.ubuntu.com
 * Management:     https://landscape.canonical.com
 * Support:        https://ubuntu.com/advantage

packages can be updated.
updates are security updates.

Last login: Sat Oct 28 15:05:51 2017 from 127.0.0.1

关闭防火墙

ufw disable

三、安装hadoop单机模式和伪分布模式

1.下载hadoop-2.7.3.tar.gz，解压到/usr/local（单机模式搭建）：

下载网站：http://archive.apache.org/dist/hadoop/core/hadoop-2.7.3/?C=S;O=A

切换到/usr/local下，将hadoop-2.7.3重命名为hadoop：

cd /usr/local

sudo mv hadoop-2.7.3 hadoop

修改/usr/local/hadoop的使用权限：

sudo chmod 777 /usr/local/hadoop

配置.bashrc文件

sudo vim ~/.bashrc

在文件末尾追加下面内容，然后保存：

#HADOOP VARIABLES START
export HADOOP_INSTALL=/bigdata/hadoop-2.7.3
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_MOME=$HADOOP_INSTALL
export YARE_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"
export PATH=$PATH:$HADOOP_INSTALL/sbin
export PATH=$PATH:$HADOOP_INSTALL/bin


 #HADOOP VARIABLES END

执行下面命令，使添加的环境变量生效：

source ~/.bashrc

hadoop配置 (伪分布模式搭建)

1.配置hadoop-env.sh：

sudo vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh

在文件加入以下代码：

# the Java implementation to use. 
export JAVA_HOME=/java/jdk1.8.0_151
export HADOOP_HOME=/bigdata/hadoop-2.7.3
export PATH=$PATH:/bigdata/hadoop-2.7.3/bin
export HADOOP_OPTS="-Djava.library.path=${HADOOP_HOME}/lib/native"

配置yarn-env.sh：

sudo vim /usr/local/hadoop/etc/hadoop/yarn-env.sh

在文件最后加上以下代码：

# JAVA_HOME=/java/jdk1.8.0_151
export /java/jdk1.8.0_151

配置core-site.xml，在home目录下创建/usr/local/hadoop/tmp目录，然后在core-site.xml中添加下列内容

sudo mkdir /usr/local/hadoop/tmp

sudo vim /usr/local/hadoop/etc/hadoop/core-site.xml

在文件最后加上以下代码：

  <configuration>
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop4:9000</value>
	</property>
	
	 <property>
                <name>dfs.replication</name>
                <value>1</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/bigdata/hadoop-2.7.3/tmp</value>
        </property>

        <property>
                <name>dfs.name.dir</name>
                <value>/home/hdfs/name</value>
        </property>

        <property>
                <name>hadoop.tmp.dir</name>
                <value>/home/hadoop3/hadoop_tmp</value>
		<description>A base for other temporary directories.</description>
        </property>

         <property>

                     <name>dfs.permissions</name>

                     <value>false</value>


          <description>

            If "true", enable permission checking in HDFS. If "false", permiss    ion checking is turned off,but all other behavior is unchanged.  Switching f    rom one parameter value to the other does  not change the mode, owner or gro    up of files or directories
            </description>
         </property>


</configuration>

配置hdfs-site.xml：

sudo vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml

在文件最后加上以下代码：

<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>

        <property>
                <name>dfs.data.dir</name>
                <value>/bigdata/hadoop-2.7.3/data</value>
        </property>
</configuration>

配置mapred-site.xml：

sudo  /usr/local/hadoop/etc/hadoop/mapred-site.xml

在文件最后加上以下代码：

  <configuration>

        <property>
                <name>mapreduce.framework.name</name>
                <value>yarn</value>
        </property>

        <property>
                <name>mapred.job.tracker</name>
                <value>localhost:9001</value>
        </property>
</configuration>
~

配置yarn-site.xml：

sudo vim /usr/local/hadoop/etc/hadoop/yarn-site.xml

在文件最后加上以下代码：

<property>
                <name>yarn.nodemanager.aux-services</name>
                <value>mapreduce_shuffle</value>
        </property>

        <property>
                <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
                <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>

        <property>
                <name>yarn.resourcemanager.scheduler.address</name>
                <value>hadoop4:8030</value>
        </property>

        <property>
                <name>yarn.resourcemanager.address</name>
                <value>hadoop4:8032</value>
        </property>

        <property>
                <name>yarn.resourcemanager.resource-traker.address</name>
                <value>hadoop4:8031</value>
        </property>
</configuration>

关机重启系统。

sudo   reboot

测试Hadoop是否安装并配置成功

验证Hadoop单机模式安装完成:

hadoop version

出现Hadoop版本信息单机模式成功了
例如以下信息

Hadoop 2.7.3
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r baa91f7c6bc9cb92be5982de4719c1c8af91ccff
Compiled by root on 2016-08-18T01:41Z
Compiled with protoc 2.5.0
From source with checksum 2e4ce5f957ea4db193bce3734ff29ff4
This command was run using /usr/local/bigdata/hadoop-2.7.3/share/hadoop/common/hadoop-common-2.7.3.ja

启动hdfs使用为分布模式

格式化namenode：

hdfs namenode -format

有 “……has been successfully formatted” 等字样出现即说明格式化成功
启动hdfs

start-dfs.sh

显示进程

jps

出现以下六个就成功了

 ResourceManager
 Jps
 DataNode
 SecondaryNameNode
 NameNode
 NodeManager

在浏览器中输入http://localhost:50070/进行测试

输入 http://localhost:8088/测试伪分布安装配置是否成功

停止hdfs

stop-all.sh

运行wordcount

启动hdfs

start-all.sh

查看hdfs底下包含的文件目录

hadoop dfs -ls /

如果是第一次运行hdfs，则什么都不会显示
在hdfs中创建一个文件目录input，将/usr/local/hadoop/README.txt上传至input中

hdfs dfs -mkdir /input
hadoop fs -put /usr/local/hadoop/README.txt /input

执行以下命令运行wordcount，并将结果输出到output中


hadoop jar /usr/local/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /input /output

执行成功后output 目录底下会生成两个文件 _SUCCESS 成功标志的文件，里面没有内容。一个是 part-r-00000 ，通过以下命令查看执行的结果

hadoop fs -cat /output/part-r-00000

hello_baby_168

关注

2
点赞
踩
2

收藏

觉得还不错? 一键收藏
0
评论
Ubuntu16.04 hadoop2.7.3 伪分布配置

一、在Ubuntu配置java环境变量我是下载jdk1.8.0_151最新版本的。官方网站：http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html（因为我是Linux64位的，就下载了jdk-8u151-linux-x64.tar.gz） 1.vim /etc/profile#我的ja
复制链接

扫一扫