伪分布式hadoop环境搭载

最新推荐文章于 2024-06-07 16:57:45 发布

xl_gjp_LOVER

最新推荐文章于 2024-06-07 16:57:45 发布

阅读量364

点赞数

文章标签：大数据

本文链接：https://blog.csdn.net/xl_gjp_LOVER/article/details/100631197

版权

步骤

安装虚拟机
- 安装镜像
命令设置Hadoop。

安装虚拟机

对于学习Hadopp我们一般使用VMware虚拟机，傻瓜式安装虚拟机，一直next就可以了。

安装镜像

虚拟机安装好之后，我们需要用到CentOS镜像。

新建虚拟机，点击新建，选择镜像，然后一直下一步。
选择典型，下一步，选择已经下载好的镜像，显示已检测到CentOS，下一步。
设置好全名，用户名，密码，这里推荐全部使用hadoop。然后一直下一步，点完成就可以了。
等待Hadoop安装后，出现这个页面说明虚拟机安装成功了。

命令设置Hadoop。

使用shall命令设置hadoop

登陆Hadoop设置网关

点击other，用户名用root，密码是设置的hadoop
开始配置网络和IP内存，右键点击右上角的电脑标志，点击出现的Edit Connections…，双击Ststem eth0，点击IPv4 Settings，将其设置成Manual，点击ADD，将IP地址设置成自己的IP，注意，我的电脑的网关是192.168.17.2，你们的可能不是。到哦虚拟机里的编辑栏的虚拟机网络编辑器查看自己的网关。

在这里插入图片描述

检查一下自己的网络是否设置好，打开终端，输入ping baidu.com，如果能ping通，说明成功了。

[root@hadoop Desktop]# ping baidu.com
PING baidu.com (39.156.69.79) 56(84) bytes of data.
64 bytes from 39.156.69.79: icmp_seq=1 ttl=128 time=36.9 ms
64 bytes from 39.156.69.79: icmp_seq=2 ttl=128 time=36.7 ms
64 bytes from 39.156.69.79: icmp_seq=3 ttl=128 time=36.6 ms
64 bytes from 39.156.69.79: icmp_seq=4 ttl=128 time=36.8 ms
64 bytes from 39.156.69.79: icmp_seq=5 ttl=128 time=36.8 ms

关闭防火墙

[root@localhost ~]# chkconfig iptables off

禁用selinux

#将SELINUX=enforcing  改成 SELINUX=disabled
vim /etc/sysconfig/selinux

将SELINUX=enforcing 改成 SELINUX=disabled

修改主机名

# 将HOSTNAME=locahost  改成  HOSTNAME=hadoop
[root@localhost ~]# vim /etc/sysconfig/network

修改机名与IP对应关系

在最后加上下面这段代码
127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.17.170   hadoop    
[root@localhost ~]# vim /etc/hosts

重启机器

[root@localhost ~]# reboot

ssh免密钥登录

#输入ssh-keygen -t rsa，点击四次回车，出现如下：
[root@hadoop ~]# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): 
Enter passphrase (empty for no passphrase): 
Enter same passphrase again: 
Your identification has been saved in /root/.ssh/id_rsa.
Your public key has been saved in /root/.ssh/id_rsa.pub.
The key fingerprint is:
89:94:0b:db:b4:6f:06:28:37:68:a8:9e:df:8d:0c:ce root@hadoop
The key's randomart image is:
+--[ RSA 2048]----+
|                 |
|       .         |
|    . +          |
| . . B + .       |
|. + = * S        |
|.. o . o         |
|.  .    +        |
|. + + oo         |
| o.E + .         |
+-----------------+
#输入如下命令，选择yes，输入自己设置的密码，建议是hadoop
[root@hadoop ~]# ssh-copy-id 192.168.17.170

创建不同的目录

#在home目录里创建三个目录
[root@hadoop ~]# cd /home
[root@hadoop home]# ls
hadoop01
[root@hadoop home]# rm -rf hadoop01/
[root@hadoop home]# ls
[root@hadoop home]# mkdir data softwares tools
[root@hadoop home]# ls
data  softwares  tools
[root@hadoop home]#

安装lrzsz

[root@hadoop home]# yum install -y lrzsz

配置JDK

将JDK1.8从windows拖拽到虚拟机的tools目录上
在这里插入图片描述

#拖拽完之后，将tools目录下的JDK解压到softwares目录下的java8目录
[root@hadoop softwares]# cd /home/softwares/
[root@hadoop softwares]# mkdir java8
[root@hadoop Desktop]# cd /home/tools/
[root@hadoop tools]# ls
jdk1.8.0_162.tar.gz
[root@hadoop tools]# tar -zxf jdk1.8.0_162.tar.gz -C ../softwares/java8

#进入java8中将目录路径辅助下来
[root@hadoop softwares]# cd /home/softwares/
[root@hadoop softwares]# cd java8/
[root@hadoop java8]# ls
[root@hadoop java8]# pwd
/home/softwares/java8

#进去profile文件中
[root@hadoop java8]# vim /etc/profile

#在最底部加入这两行代码
export JAVA_HOME=/home/softwares/java8
export PATH=$PATH:$JAVA_HOME/bin

#出来后刷新一下profile文件
[root@hadoop java8]# source /etc/profile

#检查一下JDK是否安装好，输入java -version，如果如下说明配置好JDK了
[root@hadoop java8]# java -version
java version "1.8.0_162"
Java(TM) SE Runtime Environment (build 1.8.0_162-b12)
Java HotSpot(TM) 64-Bit Server VM (build 25.162-b12, mixed mode)

将hadoop-2.9.1-src.tar.gz上传到tools目录下

在这里插入图片描述

将hadoop-2.9.1-src.tar.gz加压到softwares目录下

[root@hadoop java8]# cd /home/tools/
[root@hadoop tools]# ls
hadoop-2.9.2-src.tar.gz  jdk1.8.0_162.tar.gz
[root@hadoop tools]# tar -zxf hadoop-2.9.2-src.tar.gz -C ../softwares/

进入software目录，查看hadoop-2.9.2-src.tar下的hadoop-2.9.2-src的BUILDING.txt

[root@hadoop tools]# cd /home/softwares/hadoop-2.9.2-src/
[root@hadoop hadoop-2.9.2-src]# ls
BUILDING.txt                  hadoop-hdfs-project       LICENSE.txt
dev-support                   hadoop-mapreduce-project  NOTICE.txt
hadoop-assemblies             hadoop-maven-plugins      patchprocess
hadoop-build-tools            hadoop-minicluster        pom.xml
hadoop-client                 hadoop-project            README.txt
hadoop-cloud-storage-project  hadoop-project-dist       start-build-env.sh
hadoop-common-project         hadoop-tools
hadoop-dist                   hadoop-yarn-project
[root@hadoop hadoop-2.9.2-src]# more BUILDING.txt

查看需要安装哪些文件

#以下这些文件都是需要安装的
* Unix System
* JDK 1.7 or 1.8
* Maven 3.0 or later
* Findbugs 1.3.9 (if running findbugs)
* ProtocolBuffer 2.5.0
* CMake 2.6 or newer (if compiling native code), must be 3.0 or newer on Mac
* Zlib devel (if compiling native code)
* openssl devel (if compiling native hadoop-pipes and to get the best HDFS encry
ption performance)
* Linux FUSE (Filesystem in Userspace) version 2.6 or above (if compiling fuse_d
fs)
* Internet connection for first build (to fetch all Maven and Hadoop dependencie
s)
* python (for releasedocs)
* Node.js / bower / Ember-cli (for YARN UI v2 building)

将下载好的protobuf-cpp-3.1.0.tar.gz，apache-maven-3.6.1-bin.tar.gz，findbugs-3.0.1.tar.gz三个文件拖拽到虚拟机上的/home/tools目录上

在这里插入图片描述

将这三个文件解压到/home/softwares目录下

[root@hadoop softwares]# cd /home/tools/
[root@hadoop tools]# ls
apache-maven-3.6.1-bin.tar.gz  jdk1.8.0_162.tar.gz
findbugs-3.0.1.tar.gz          protobuf-cpp-3.1.0.tar.gz
hadoop-2.9.2-src.tar.gz
[root@hadoop tools]# tar -zxf apache-maven-3.6.1-bin.tar.gz -C ../softwares/
[root@hadoop tools]# tar -zxf findbugs-3.0.1.tar.gz -C ../softwares/
[root@hadoop tools]# tar -zxf protobuf-cpp-3.1.0.tar.gz -C ../softwares/
[root@hadoop tools]#

将配置apache-maven-3.6.1，findbugs-3.0.1

#打开profile文件配置环境变量，在最后面加入以下四行
[root@hadoop softwares]# vim /etc/profile

export MAVEN_HOME=/home/softwares/apache-maven-3.6.1
export PATH=$PATH:$MAVEN_HOME/bin
export FINDBUGS_HOME=/home/softwares/findbugs-3.0.1
export PATH=$PATH:$FINDBUGS_HOME/bin

#刷新一下/etc/profile
[root@hadoop softwares]# source /etc/profile

#检查一下是配置成功
[root@hadoop softwares]# mvn -v
Apache Maven 3.6.1 (d66c9c0b3152b2e69ee9bac180bb8fcc8e6af555; 2019-04-04T12:00:29-07:00)
Maven home: /home/softwares/apache-maven-3.6.1
Java version: 1.8.0_162, vendor: Oracle Corporation, runtime: /home/softwares/java8/jre
Default locale: en_US, platform encoding: UTF-8
OS name: "linux", version: "2.6.32-431.el6.x86_64", arch: "amd64", family: "unix"
[root@hadoop softwares]# findbugs -version
3.0.1
[root@hadoop softwares]#

安装protobuf

#进入/home/software目录，运行configure文件，看哪些需要安装，大多数都是NO，我们需要安装上这些东西，让他变成yes
[root@hadoop softwares]# cd /home/softwares/
[root@hadoop softwares]# ls
apache-maven-3.6.1  findbugs-3.0.1  hadoop-2.9.2-src  java8  protobuf-3.1.0
[root@hadoop softwares]# cd protobuf-3.1.0/
[root@hadoop protobuf-3.1.0]# ls
aclocal.m4    config.sub                    gmock.BUILD   protobuf-lite.pc.in
ar-lib        configure                     install-sh    protobuf.pc.in
autogen.sh    configure.ac                  LICENSE       README.md
benchmarks    conformance                   ltmain.sh     six.BUILD
BUILD         CONTRIBUTORS.txt              m4            src
CHANGES.txt   depcomp                       Makefile.am   test-driver
cmake         editors                       Makefile.in   update_file_lists.sh
compile       examples                      missing       util
config.guess  generate_descriptor_proto.sh  objectivec    WORKSPACE
config.h.in   gmock                         protobuf.bzl
[root@hadoop protobuf-3.1.0]# ./configure

#输入指令下载需要的文件
[root@hadoop protobuf-3.1.0]# yum -y install automake libtool cmake ncurses_devel openssl-devel lzo-devel zlib-devel gcc gcc-c++

#等待下载完成，查看是否变成yes，输入指令安装。
[root@hadoop protobuf-3.1.0]# ./configure
[root@hadoop protobuf-3.1.0]# make install

拖拽下载好的hadoop-2.9.2-linux-64.tar.gz到/home/tools目录下

在这里插入图片描述

将hadoop-2.9.2-linux-64.tar.gz解压到/home/softwares目录下

[root@hadoop tools]# cd /home/tools/
[root@hadoop tools]# ls
apache-maven-3.6.1-bin.tar.gz  hadoop-2.9.2-src.tar.gz
findbugs-3.0.1.tar.gz          jdk1.8.0_162.tar.gz
hadoop-2.9.2-linux-64.tar.gz   protobuf-cpp-3.1.0.tar.gz
[root@hadoop tools]# tar -zxf hadoop-2.9.2-linux-64.tar.gz -C ../softwares/
[root@hadoop tools]#

配置/etc/profile文件，将hadoop_home配置进去

#进入/etc/profile
[root@hadoop hadoop-2.9.2]# vim /etc/profile
#在最后加入这两行
export HADOOP_HOME=/home/softwares/hadoop-2.9.2
export PATH=$PATH:$HADOOP_HOME/bin

进入/home/softwares目录下的hadoop-2.9.2里配置文件

#进入/home/softwares目录下的hadoop-2.9.2中
[root@hadoop hadoop-2.9.2]# cd /home/softwares/hadoop-2.9.2
[root@hadoop hadoop-2.9.2]# ls
bin  include  libexec      NOTICE.txt  sbin
etc  lib      LICENSE.txt  README.txt  share

#首先配置JAVA_HOME，复制JAVA_HOME的路径，在粘贴到
[root@hadoop hadoop-2.9.2]# echo $JAVA_HOME
/home/softwares/java8
[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/hadoop-env.sh 

# 将下面的JAVA_HOME=后面的内容改成复制的JAVA_HOME路径
# The java implementation to use.
export JAVA_HOME=/home/softwares/java8

# 其次配置core-site.xml文件，首先先创建/data/tmp文件夹
[root@hadoop hadoop-2.9.2]# mkdir data
[root@hadoop hadoop-2.9.2]# cd data/
[root@hadoop data]# mkdir tmp
[root@hadoop data]# cd tmp
[root@hadoop tmp]# pwd
/home/softwares/hadoop-2.9.2/data/tmp

[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/core-site.xml 
# 在core-site.xml文件的<configuration>中加入下面代码
<configuration>
      <property>
         <name>fs.defaultFS</name>
         <value>hdfs://hadoop:8020</value>
      </property>
</configuration>
<configuration>
      <property>
          <name>hadoop.tmp.dir</name>
          <value>/home/softwares/hadoop-2.9.2/data/tmp</value>
      </property>
</configuration>

[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/hdfs-site.xml 
# 在hdfs-site.xml文件的<configuration>中添加这段代码
<configuration>
    <property>
            <name>dfs.replication</name>
             <value>1</value>
    </property>
</configuration>

# 格式化一下
[root@hadoop hadoop-2.9.2]# bin/hdfs namenode -format

# 打开dfs
[root@hadoop hadoop-2.9.2]# sbin/start-dfs.sh

# jps一下看有没有4个进程，有的话就说明成功了99%
[root@hadoop hadoop-2.9.2]# jps
3847 NameNode
4124 SecondaryNameNode
3948 DataNode
4270 Jps

# 修改mapred-site.xml.template文件为mapred-site.xml
[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/hadoop-env.sh 
[root@hadoop hadoop-2.9.2]# mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml

[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/mapred-site.xml 
# 进入mapred-site.xml 文件的configuration中加入以下代码
<configuration>
     <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
     </property>
</configuration>

[root@hadoop hadoop-2.9.2]# vim ./etc/hadoop/yarn-site.xml 
# 进入yarn-site.xml文件加入如下代码
<configuration>

<!-- Site specific YARN configuration properties -->
     <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
     </property>
</configuration>

#打开yarn进程
[root@hadoop hadoop-2.9.2]# sbin/start-yarn.sh

#jps一下，查看开启的进程，如果出现了5个进程，说明成功了
[root@hadoop hadoop-2.9.2]# jps
3847 NameNode
4378 ResourceManager
4476 NodeManager
4124 SecondaryNameNode
3948 DataNode
4508 Jps

本作品采用知识共享署名 4.0 国际许可协议进行许可。

xl_gjp_LOVER

关注

0
点赞
踩
2

收藏

觉得还不错? 一键收藏
1
评论
伪分布式hadoop环境搭载

步骤安装虚拟机安装镜像命令设置Hadoop。登陆Hadoop设置网关关闭防火墙禁用selinux修改主机名修改机名与IP对应关系重启机器安装虚拟机对于学习Hadopp我们一般使用VMware虚拟机，傻瓜式安装虚拟机，一直next就可以了。安装镜像虚拟机安装好之后，我们需要用到CentOS镜像。新建虚拟机，点击新建，选择镜像，然后一直下一步。选择典型，下一步，选择已经下载好的镜像，显...
复制链接

扫一扫