Hadoop集群伪分布式环境搭建-ubuntu

Hadoop集群伪分布式环境搭建-ubuntu

1.VMware和Ubuntu安装完后，配置虚拟网络,这里采用NAT方式，防止后期IP冲突

 

修改本机VMware虚拟网络配置

 

修改Ubuntu网络配置

 

 

2.解决VMware虚拟机网络适配器NAT模式无法上网的问题

 

注意这个服务是否开启(电脑管家和360会关闭这个服务)，其他服务同理，如下图所示

 

但是vmware nat service总是自动停止，解决办法是：

这一般是在学校里用锐捷认证上网的情况。原因出在锐捷客户端，锐捷的8021x.exe会自动停止VMware NAT Service服务，导致不能使用vmware的nat模式。

https://blog.csdn.net/ouyangxin95/article/details/50750054

https://blog.csdn.net/su20145104009/article/details/72040800

http://wifi.ggsafe.com/articles/20141218124035513.shtml

 

以上可能找不到好的解决方法,最后写脚本然它一直连接服务，最后我发现第二天重开电脑后锐捷不关闭vmware nat service服务了，难道是重启下机器就可以了？大家可以试下，我的是好了

3.安装Ubuntu组件

 

4.修改主机名和IP的映射关系

vim /etc/hosts             

        192.168.71.101       master

        192.168.71.102       slaver1

        。。。。。。

修改主机名(与业务相关) vim /etc/hostname

关闭防火墙(hadoop的组件都是网络服务，防火墙会阻止相关服务的端口)

防火墙状态查看方法：

(Ubuntu 18.04.2 LTS系统附带的UFW, 默认都是禁用状态，所以输出是「不活动」)具体查看命令如下：sudo ufw status verbose

··             激活防火墙：sudo ufw enable

关闭防火墙：sudo ufw disable

 

5.启动时不启动Ubuntu图形界面

    (1)关闭用户图形界面

        sudo systemctl set-default multi-user.target

        sudo reboot

    (2)开启用户图形界面

        sudo systemctl set-default graphical.target

        sudo reboot

 

6.上传jdk和hadoop并解压

       创建目录app    mkdir app/

解压命令 tar –zxvf 要解压的文件名 –C app/

-zxvf  z表示加压的格式  x表示解压 v表示打印进度 f表示加压哪一个文件 –C表示加压到哪一个路径

安装JDK

              (1)解压   tar –zxvf jdk-8u212-linux-x64.tar.gz –C app/

              (2)配置环境变量

                     sudo vim /etc/profile

                     #在文件最后添加

                     export JAVA_HOME=/home/master/app/jdk1.8.0_212

                     export PATH=$PATH:$JAVA_HOME/bin

      

                     #刷新配置

                     source /etc/profile

7.修改hadoop的配置文件

       Hadoop的配置文件在$HADOOP_HOME/etc/hadoop里

伪分布式需要修改5个配置文件

       (1)配置hadoop

       第一个：hadoop-env.sh

                     vim hadoop-env.sh

                     #第27行

                     export JAVA_HOME=/home/master/app /jdk1.8.0_212

             

       第二个：core-site.xml

              <!-- 指定HADOOP所使用的文件系统schema（URI），HDFS的老大（NameNode）的地址 -->

              <property>

                     <name>fs.defaultFS</name>

                     <value>hdfs://master:9000/</value>

              </property>

              <!-- 指定hadoop运行时产生文件的存储目录 -->

              <property>

                     <name>hadoop.tmp.dir</name>

                     <value>/home/master/app/hadoop-2.9.2/data/</value>

           </property>

             

       第三个：hdfs-site.xml   hdfs-default.xml

              <!-- 指定HDFS副本的数量 -->

              <property>

                     <name>dfs.replication</name>

                     <value>1</value>

    </property>

             

       第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)

              mv mapred-site.xml.template mapred-site.xml

              vim mapred-site.xml

              <!-- 指定mr运行在yarn上 -->

              <property>

                     <name>mapreduce.framework.name</name>

                     <value>yarn</value>

    </property>

             

       第五个：yarn-site.xml

              <!-- 指定YARN的老大（ResourceManager）的地址 -->

              <property>

                     <name>yarn.resourcemanager.hostname</name>

                     <value>master</value>

    </property>

              <!-- reducer获取数据的方式,mapper产生的结果使用shuffle机制传给reducer -->

    <property>

                     <name>yarn.nodemanager.aux-services</name>

                     <value>mapreduce_shuffle</value>

     </property>

         

8.将hadoop添加到环境变量

              vim /etc/proflie

              export JAVA_HOME=/home/master/app/ jdk1.8.0_212

              export HADOOP_HOME=/home/master/app/hadoop-2.9.2

              export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

       source /etc/profile

      

9.格式化namenode（是对namenode进行初始化）

              hdfs namenode -format (hadoop namenode -format)

             

10.启动hadoop

              先启动HDFS

              sbin/start-dfs.sh

              再启动YARN

              sbin/start-yarn.sh

              遇到问题：

Starting namenodes on []

Incorrect configuration: namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured.

 

              首先检查配置是否正确，然后步行的话作如下配置

在etc/hadoop/core-site.xml中增加如下配置：

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000/</value>

</property>

11.验证是否启动成功

              使用jps命令验证(查看进程)

              27408 NameNode

              28218 Jps

              27643 SecondaryNameNode

              28066 NodeManager

              27803 ResourceManager

              27512 DataNode

      

              http://192.168.71.101:50070 （HDFS管理界面）

              http://192.168.71.101:8088 （MR管理界面）

             

12.配置ssh免登陆

       #生成ssh免登陆密钥

       #进入到我的home目录

       cd ~/.ssh

 

       ssh-keygen -t rsa （四个回车）

       执行完这个命令后，会生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）

       将公钥拷贝到要免登陆的机器上

       ssh-copy-id localhost

13.HDFS shell

       1.0查看帮助

              hadoop fs -help <cmd>

       1.1上传

              hadoop fs -put <linux上文件> <hdfs上的路径>(hdfs://master:9000/)

       1.2查看文件内容

              hadoop fs -cat <hdfs上的路径>

       1.3查看文件列表

              hadoop fs -ls /wordcount/

       1.4下载文件

              hadoop fs -get <hdfs上的路径> <linux上文件路径>

       1.5 建立目录

              Hadoop fs mkdir hdfs://master:9000/wordcount

14.使用hadoop自带的程序运行MapReduce

       hadoop jar hadoop-mapreduce-examples-2.9.2.jar pi 5 5

       pi表示计算圆周率 第一个5表示使用的map数量 第二个5表示每个map的取样数