【李老师云计算】实验一：Hadoop伪分布式集群部署与Eclipse访问Hadoop进行单词计数统计_hadoop单词统计eclipse

于 2024-09-08 12:31:58 发布
阅读量2.3k 收藏 45
点赞数 29
文章标签： 分布式 云计算 hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_85794553/article/details/142024924
版权

下一步直到命名虚拟机，虚拟机的名称可以后续修改，改不改都可以，下面的位置是安装到的虚拟机位置(不想下C盘请修改)。

之后一直下一步就可以了，配置什么的后面可以通过编辑虚拟机进行修改。

三个虚拟机的位置最好都选在不同的文件夹中，如：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JvBqvUS3-1680265800495)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\image-20230331084945205.png)]

2.3 安装CentOS(包括GUI、主机名)

该操作需要重复三次(实验需要一个Master两个Slave……)

新建虚拟机后会自动开机进入CentOS的安装程序，点进虚拟机，然后一直回车就好了，然后等待完成。

之后会弹出安装界面，按照需求选择，继续。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YnxXbxVn-1680265800495)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\image-20230331085725203.png)]

之后的安装信息摘要比较重要了，直接拖到下面前三个选项不要管，我们需要打开的有下面红框标记的三个。

在这里插入图片描述

首先打开软件选择，选中带GUI的服务器，如果不选的话你的CentOS是纯命令行，说实话有点麻烦……点击完成即可。

在这里插入图片描述

然后打开安装位置，打开以后直接完成，什么都不需要选择。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YPqTR7Zq-1680265800496)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\image-20230331090133266.png)]

最后选择网络和主机名，根据老师的要求修改主机名(我们的要求是Master学号后两位、Slave1-学号后两位、Slave2-学号后两位)。

在这里插入图片描述

返回到安装界面，点击开始安装。

进入页面选择ROOT密码，设置为123456(别的也行，简单一点不要为难自己)。

在这里插入图片描述

然后等待安装完成即可。
在这里插入图片描述

2.4 ★解决已经创建虚拟机改主机名

方法一是使用指令hostnamectl set-hostname xxx，xxx是自己的主机名，但是这种方法设置的主机名是小写的。

方法二是使用指令vi /etc/hostname ，这个文件里的内容就是你的主机名，直接全删了，把自己的主机名输入进去就行了，大小写都可以，这种方法需要重启一次。

3. VMWare 网络配置

按照老师要求，主机的ip最后一个字节是学号，

从机1是学号+1，从机2是学号+2……

3.0 使用VI编辑器和VMware

该操作需要重复三次(实验需要一个Master两个Slave……)

3.0.1 使用VI编辑器

之后会经常用到VI编辑器，因此做几个介绍：

  1. 使用vi 文件路径指令打开文件
  2. 敲击键盘insert键或者i键进入insert模式(编辑)
  3. 敲击键盘字母o，可以插入新的一行并自动进入insert模式(编辑)
  4. 在VI编辑器(以及终端)中，选中就是复制
  5. 在VI编辑器(以及中断)中，鼠标中键(滚轮)是粘贴
  6. 修改完成后ESC，:wq是保存退出，一定要小写，大写会出错。
3.0.2 使用VMware

登录虚拟机使用root，不要用用户。(root在未列出中，用户名root，密码123456)
如果暂时不做了，最好是使用挂起客户机而不是关闭客户机。

在这里插入图片描述

3.1 虚拟机IP设置

首先查看一下虚拟机子网IP，在VMware上，点击编辑->虚拟网络编辑器。

在这里插入图片描述

点击VMnet8，查看下面的子网IP，如下图子网IP是192.168.64.0。

在这里插入图片描述

再点击一下NAT设置查看一下网关IP：

在这里插入图片描述

启动虚拟机，使用ROOT登录(未列出的->用户名root，密码123456)。

打开终端，输入vi /etc/sysconfig/network-scripts/ifcfg-ens33，复制命令，鼠标中键粘贴到终端。

在这里插入图片描述

需要修改的是：BOOTPROTO=static、ONBOOT=yes。

在最后添加以下内容，我们之前得到的子网IP是192.168.64.0因此我们的IPADDR前三个字节需要相同，最后一个字节根据自己的学号修改。

GATEWAY与DNS1相同，都按照前面找到的网关IP填写。

IPADDR=192.168.64.60
NETMASK=255.255.255.0
GATEWAY=192.168.64.2
DNS1=192.168.64.2

然后ESC，:wq退出，不要少写了冒号！

在这里插入图片描述

3.2 验证设置成功

终端输入指令systemctl restart network(中间粘贴)

之后通过指令ip addr来查看，只要ens33出现了inet并且是自己的设置的IP就是成功了，如果没有，请对照3.1.1的注意事项查找错误。

在这里插入图片描述

用上面的方法完成Slave1和Slave2的IP设置，不再重复演示。

3.3 ★解决ens33没有成功设置IP

首先确保已经使用了systemctl restart network指令。

然后上面的一定严格按照给的写：字母写错、不是大写都有可能导致无法连接网络。大概率问题出在ens33的文件配置中。

如果之前已经设置成功并且显示，后续打开发现失效，可以参考5.3来解决。

3.4 ★解决虚拟机待机问题

我们可能需要来回切换设置这三台虚拟机，从一台换到另一台的时候可能已经进入待机模式了，需要重新输入密码进入，怪麻烦的，下面给出关闭待机的方法。

在这里插入图片描述

在设置中选择Power(电源)，然后把空白屏幕改成从不就可以了。

在这里插入图片描述

4. 防火墙配置

实验文档只告诉一个防火墙配置，也不说配置什么，全是泛泛之谈！一百个字的实验文档轻飘飘的话，剩下全靠自己悟。

4.1 关闭防火墙

该操作需要重复三次(实验需要一个Master两个Slave……)

在终端使用指令依次使用下面两个指令：

  1. systemctl stop firewalld 关闭防火墙
  2. systemctl disable firewalld 禁用防火墙(不再开机启动)
4.2 确认防火墙状态

在终端使用指令systemctl status firewalld查看防火墙状态，下图是已经关闭的状态：

在这里插入图片描述

没有关闭重启试试。

5. 虚拟机互联互通

该操作需要重复三次(实验需要一个Master两个Slave……)

5.1 添加映射

在终端使用指令vi /etc/hosts，将主机名与IP地址的映射关系存入。

如我的IP地址与主机名的对应关系是：

192.168.64.60 Master60
192.168.64.61 Slave1-60
192.168.64.62 Slave2-60

可以用#把前面两条注释掉，然后把自己的复制进去(鼠标中键)，最后:wq保存，文档如下图所示：
在这里插入图片描述

5.2 互相ping验证连通性

首先确保三台虚拟机都已经完成了/etc/hosts的修改。

以Master(主机)为例，使用指令ping 192.168.64.61(IP以自己的从机IP为准)，或者使用ping Slave2-60来检验是否连通（IP和主机名有映射关系了，所以ping IP和ping 主机名都可以）。

在这里插入图片描述

再分别从从机1和从机2去ping其他的两台机器，验证是否连通，过程是一样的只是把ip改一下，不再做演示。

5.3 ★解决IP失效(之前能联网现在不行了)

如果之前已经设置成功并且显示，后续打开发现失效可能是网卡出现问题了。

依次使用以下指令：

  1. systemctl stop NetworkManager
  2. systemctl disable NetworkManager
  3. systemctl restart network

然后再通过ip addr查看是否成功(ens33显示IP)。

6. 虚拟机访问外网

该操作需要重复三次(实验需要一个Master两个Slave……)

6.1 方法一：ping百度

在终端通过ping baidu.com验证是否成功。

下面以主机为例：

在这里插入图片描述

从机也需要验证，如果哪台机器ping不通请查看3.3以及5.3的解决方法或自行百度。

6.2 方法二：通过FireFox访问百度

这种方法需要再安装CentOS的时候选择了GUI界面(参考2.3)

在这里插入图片描述

然后输入www.baidu.com，看是否能成功访问，以下是成功界面：
在这里插入图片描述

7. 免密安全登录

7.1 生成秘钥及分享秘钥

该操作需要重复三次(实验需要一个Master两个Slave……)

以主机为例，在终端依次使用以下指令生成秘钥然后分享给除了自己以外的另外两台机器：

  1. ssh-keygen -t rsa(然后一直回车)
  2. ssh-copy-id Slave1-60(Slave1-60修改为你的从机1的主机名或IP)
  3. ssh-copy-id Slave2-60(Slave1-60修改为你的从机2的主机名或IP)
    步骤2、3需要输入yes，然后再输入密码(123456)，密码不会显示(Linux特性)。

在这里插入图片描述

两个从机重复以上操作。

之后在**主机(Master)**进行如下操作(这一步从机不需要)：

  1. cd .ssh(目前所在路径是~)
  2. touch authorized_keys
  3. chmod 600 authorized_keys
  4. cat id_rsa.pub >> authorized_keys

这一步是为了之后做准备的……

7.2 测试是否成功

以从机1为例，在终端使用指令ssh Master60(改为自己主机的主机名)或者`ssh 192.168.64.610(改为自己主机的IP)。

在这里插入图片描述

可以发现此时不需要键入密码就可以登录。

8. Hadoop集群设计与部署

OK，这一步的难度大于前面七步的和，尽量说的详细一点。

该操作需要重复三次(实验需要一个Master两个Slave……)

8.1 下载Hadoop-3.3.1

我用的是Hadoop-3.3.1，下面的操作只要是Hadoop-3.x应该都是适用的，但是Hadoop-2.x可能有细枝末节的地方不太相同，建议看一下PushyTao学长的博客。

建议是在自己的电脑上而不是虚拟机上下载，因为每台虚拟机都需要一份，所以直接下在自己电脑桌面上然后拖到虚拟机里就可以了。

下面给出两个镜像站地址，哪个快下哪个吧（3.3.1可能已经不能用了大概3.x就可以）：

  1. 清华镜像站
  2. 阿里云镜像站

以阿里云镜像站为例，要下载的是hadoop-3.3.1.tar.gz。

在这里插入图片描述

8.2 创建目录解压Hadoop

首先mkdir /user(现在的路径是~)

然后直接复制以下指令到终端(鼠标中键粘贴)

mkdir  /user/hadoop
mkdir  /user/hadoop/tmp
mkdir  /user/hadoop/var
mkdir  /user/hadoop/dfs
mkdir  /user/hadoop/dfs/name
mkdir  /user/hadoop/dfs/data

方便起见，后面的操作用GUI进行，点击应用程序，选择文件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-zA2pArY5-1680265800507)(C:\Users\dell\Documents\ShareX\Screenshots\2023-03\vmware_mXMFpi9xHu.png)]

点击其他位置，然后选择计算机。

在这里插入图片描述

找到user文件夹点击进入，注意是user不是usr。

在这里插入图片描述

进入里面的hadoop目录，然后把电脑上的压缩包拖进来(下面的图是解压完成的)
在这里插入图片描述

然后在这个界面右键选择在终端打开。

在这里插入图片描述

这时候我终端的位置是这个目录：

在这里插入图片描述

然后输入指令tar -zxvf hadoop-3.3.1.tar.gz进行解压。

8.3 配置环境变量

在终端使用指令vi ~/.bashrc。

在最后键入i进行插入，需要修改的只有第一行HADOOP_INSTALL，把它改成自己Hadoop的位置就好了(含有bin、etc、……的目录)。

export HADOOP_INSTALL=/user/hadoop/hadoop-3.3.1
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL 
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_HOME=$HADOOP_INSTALL

在这里插入图片描述

:wq保存退出。

然后在终端输入指令source ~/.bashrc

8.4 找到JDK位置

其实这个地方是搞错了的这里用的是JRE(运行包)，而不是JDK(开发包)，其中开发包是包含了运行包。但是后面的操作只需要运行即可，就是说不会影响到后续操作。我会在下一个实验的时候进行修正，或者到这一步时同学们可以自行下载JDK

这个CentOS是自带了一个JDK确实是能用的，所以我也不另外下载了，找到这个JDK就可以了。

依次使用指令:

  1. which java获得一个地址/usr/bin/java
  2. ls -lrt /usr/bin/java,根据前面得到的地址修改，会获得另一个地址/etc/alternatives/java
  3. ls -lrt /etc/alternatives/java，根据前面得到的地址修改，最终得到的就是jdk的位置。

在这里插入图片描述

比如我找到的是java-1.8.0-openjdk-1.8.0.242.b08-1.el7.x86_64，但实际上每个人可能有所差别，以自己的为准！

上面显示0.362是因为后面的操作应该是有了一个新的版本但是为了还原，我还是说我的过程吧。

点进去这个这个目录，把里面jre的bin和lib给复制出来。

在这里插入图片描述

不搞出来之后会报错，JAVA_HOME需要这俩东西应该是，如果重新下jdk也差不多这么个意思。

8.5 修改主机配置文件

在做这一步之前先确保主机和两台从机都完成了以上操作，然后在主机上完成以下操作。

用GUI来完成吧，首先进入 /user/hadoop/hadoop-3.3.1/etc/hadoop/目录

在这里插入图片描述

这样的文件修改不同于VI而类似于windows系统的记事本。

复制粘贴都用鼠标就可以了。保存是ctrl+s。

8.5.1 hadoop-env.sh修改

打开hadoop-env.sh

在文件最后添加：

export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.242.b08-1.el7.x86_64
export HADOOP_HOME=/user/hadoop/hadoop-3.3.1
export HDFS_NAMENODE_USER="root"
export HDFS_DATANODE_USER="root"
export HDFS_SECONDARYNAMENODE_USER="root"
export YARN_RESOURCEMANAGER_USER="root"
export YARN_NODEMANAGER_USER="root"

其中JAVA_HOME和HADOOP_HOME请根据自己情况来写。

8.5.2 core-site.xml修改

在这里插入图片描述

打开core-site.xml

在<configuration></configuration>之间输入下面的内容：

    <property>
        <name>hadoop.tmp.dir</name>
        <value>/user/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://192.168.64.60:9000/</value>
    </property>

在这里插入图片描述

根据自己情况修改value标签内的内容。

8.5.3 hdfs-site.xml修改

打开hdfs-site.xml

在最后加入以下内容：

<configuration>
<property>
      <name>yarn.resourcemanager.admin.address</name>
      <value>192.168.64.60:9001</value>
  </property>
  <property>
   <name>dfs.name.dir</name>
     <value>/user/hadoop/dfs/name</value>
     <description>Path on the local filesystem where theNameNode stores the namespace and transactions logs persistently.</description>
  </property>
  <property>
     <name>dfs.data.dir</name>
     <value>/user/hadoop/dfs/data</value>
   <description>Comma separated list of paths on the localfilesystem of a DataNode where it should store its blocks.</description>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
      <name>dfs.permissions</name>
      <value>false</value>
      <description>need not permissions</description>
  </property>
</configuration>

上面内容提供了<configuration></configuration>，把之前的删了就好了。

还是把value标签自己改了。

8.5.4 yarn-site.xml修改

打开yarn-site.xml

<configuration>

<!-- Site specific YARN configuration properties -->
<property>
        <description>The address of the applications manager interface in the RM.</description>
        <name>yarn.resourcemanager.address</name>
        <value>192.168.64.60:8032</value>
   </property>
   <property>
        <description>The address of the scheduler interface.</description>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>192.168.64.60:8030</value>
   </property>
   <property>
        <description>The http address of the RM web application.</description>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>192.168.64.60:8088</value>
   </property>
   <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>192.168.64.60:8031</value>
   </property>
   <property>
        <description>The address of the RM admin interface.</description>
        <name>yarn.resourcemanager.admin.address</name>
        <value>192.168.64.60:8033</value>
   </property>
   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
   </property>
   <property>
        <name>yarn.nodemanager.auxservices.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>
   <property>
        <name>yarn.scheduler.maximum-allocation-mb</name>
        <value>2048</value>
        <discription>every node memery size(MB) default is 8182MB</discription>
   </property>
   <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>2048</value>
   </property>
   <property>
        <name>yarn.nodemanager.vmem-check-enabled</name>
        <value>false</value>
   </property>
</configuration>

修改value的IP地址。

8.5.5 mapred-site.xml修改

打开mapred-site.xml

<configuration>
   <property>
     <name>mapred.job.tracker</name>
     <value>192.168.64.60:49001</value>
  </property>
  <property>
     <name>mapred.local.dir</name>
     <value>/user/hadoop/var</value>
  </property>
  <property>
     <name>mapreduce.framework.name</name>
     <value>yarn</value>
  </property>
</configuration>

修改value中的ip及位置。

8.5.6 workers修改

打开workers

Slave1-60
Slave2-60

把两个从节点的主机名或者IP存进去。
最后输入hdfs如果没有ERROR就是成功；如果失败根据提示来看什么变量设置错误了，再改包括.bashrc在内的配置文件。注意hdfs指令可以使用只能代表你的Hadoop路径和JAVA_HOME设置成功，不代表一定能运行Hadoop，还得看配置文件是否正确。

8.6 分享主机配置文件

在/user/hadoop/hadoop-3.3.1/etc/hadoop/目录下打开终端。

之前已经设置了SSH免密登录，现在就派到用场了(当然这不是主要的)，我可以直接把主机的文件分享到从机上。

直接复制以下指令到终端(鼠标中键)，其中需要修改的是Slave1-60(改为自己的从机主机名或ip)，后面的是存放在从机的地址(必须先在从机上完成8.1-8.4保证从机有这个目录)。

scp hadoop-env.sh root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp core-site.xml root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp hdfs-site.xml root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp mapred-site.xml root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp yarn-site.xml root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp workers root@Slave1-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/

如果配置错误了需要修改，直接重新键入指令就可以了，会自动覆盖。

然后再传递给从机2一份：

scp hadoop-env.sh root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp core-site.xml root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp hdfs-site.xml root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp mapred-site.xml root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp yarn-site.xml root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
scp workers root@Slave2-60:/user/hadoop/hadoop-3.3.1/etc/hadoop/
8.7 格式化Hadoop

该操作需要重复三次(实验需要一个Master两个Slave……)

在每台虚拟机上都使用终端输入指令hdfs namenode -format。

如果失败请查看自己的配置文件是否全部修改正确！Hadoop地址、JAVA_HOME之类的请仔细对照自己的实际情况！

如果成功，会出现以下界面：

在这里插入图片描述

所有的机器都完成了初始化之后进行下一步。

8.8 启动Hadoop

进入/user/hadoop/hadoop-3.3.1/sbin目录(如果自己能搞明白自己在什么目录完全可以自己掌控，以下的操作完全可以 在~路径下./user/hadoop/hadoop-3.3.1/sbin/start-all.sh)

在sbin目录下右键进入终端，使用指令./start-all.sh启动Hadoop

8.9 验证是否完成

在终端使用输入jps，如果显示bash: jps: command not found...，就使用指令yum install -y java-1.8.0-openjdk-devel。如果仍然不成功，看一下配置文件的IP和路径是不是与自己的匹配。

如果在主机使用jps可以看到如下进程：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-klChZqkf-1680265800510)(C:\Users\dell\Documents\ShareX\Screenshots\2023-03\PotPlayerMini64_xGY3fjBDpa.png)]

并且在两个从机使用jps可以看到如下进程：

在这里插入图片描述

就说明完成了任务。

8.10 浏览器查看集群

操作在主机上

此时通过浏览器访问192.168.64.60:9870来查看(主机的主机名或IP:9870)。

在这里插入图片描述

8.11 ★解决浏览器无法查看集群

可以尝试使用192.168.64.60:50070，Hadoop2.x使用的是50070端口。

如果还不行，看看防火墙是否关闭。一定是jps都显示上述的进程该网页才会生效。

8.12 ★虚拟机拖拽文件

需要安装VMware Tools，具体怎么做不多做说明，安装完成就能直接传输文件了。

往虚拟机中拖文件可能会报错，点一下重试就好了。

8.13 ★解决Hadoop集群部署不成功

一般来说就是没有datanode或者namenode之类的问题，常见于是复制别人的文件、重新装了一遍Hadoop。
有两种情况：
一种是你的配置文件有问题，IP或者自己的Hadoop路径没有写对(认真核查！一个字母错误都可能导致无法成功！)，找到错误然后重新分享(参照8.6)

另外一种情况是有旧的信息还在虚拟机上，这种情况按照以下方法来解决：
之前我们创建了下面的几个目录

mkdir  /user/hadoop
mkdir  /user/hadoop/tmp
mkdir  /user/hadoop/var
mkdir  /user/hadoop/dfs
mkdir  /user/hadoop/dfs/name
mkdir  /user/hadoop/dfs/data

把三台虚拟机上/user/hadoop目录中的 tmp、var、dfs(不包括name和data)、dfs/name、dfs/data里面的内容全部清除，也就是说保持最初的状态，这一步是为了清空之前初始化产生的一些信息数据。
再重新在三台虚拟机上格式化Hadoop(参照8.7)。

9. Eclipse访问Hadoop

9.1 下载Eclipse

在官网下载：Eclipse IDE for Java Developers，选择Linux x86_64。

在这里插入图片描述

这个只需要拖到主机Master上就可以了。

有了上面的经验，把这个压缩包拖到/opt目录下应该不成问题。

之后在/opt目录下打开终端，使用解压指令tar zxvf eclipse-java-2023-03-R-linux-gtk-x86_64.tar.gz，这时候会有一个eclipse文件被解压到/opt。

点击(或者指令)进入/opt/eclipse，然后在该文件下打开终端，使用指令ln -s /opt/eclipse/eclipse /usr/bin/eclipse，此时再去/usr/bin目录下将eclipse拖到桌面即可。

在这里插入图片描述

现在直接点击eclipse就可以使用了，打开使用的时候什么都不要改！默认的工作空间也没有必要改，直接进入。

9.2 配置eclipse

下载hadoop-eclipse-plugin-3.3.1，不需要解压放在/opt/eclipse路径下的dropins和plugins中。

打开eclipse，在菜单栏选择Window->Preferences。

在这里插入图片描述

然后在左侧选择Hadoop Map/Reduce，选择Hadoop的安装路径(按照自己的来)
在这里插入图片描述

最后Apply and Close。

之后在菜单栏选择Window->Show View->Other。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EJYF1arQ-1680265800512)(C:\Users\dell\AppData\Roaming\Typora\typora-user-images\image-20230331150019504.png)]

选择MapReduce Tools->Map/Reduce Locations，点击Open

在这里插入图片描述

9.3 eclipse连接Hadoop

此时，会发现右上角出现大象(如果没有点击左侧第一个摁扭，里面可以打开)，点击一下，下面会出现大象和＋。

在这里插入图片描述

点击下面的大象和＋

在这里插入图片描述

按照上图设置一下，点击Finish，下面会出现一条信息。这个大象双击以后会报错，不影响后面的操作，不需要理会配置好自己的ip即可。

在这里插入图片描述

以及左侧项目栏会出一个DFS Locations

在这里插入图片描述

如果这里的Hadoop(刚才起的名字)，点击可以显示文件夹，就说明连接成功反之会有一段错误代码。

9.4 ★解决eclipse连接Hadoop失败

确认每一台虚拟机都能上网，并且主机启动了start-all.sh。

不能上网请参考之前的内容。

9.5 ★解决没有Hadoop Map/Reduce选项

在9.2出现找不到这个选项的情况下，如果确定自己把hadoop-eclipse-plugin放进了文件中，并且没有解压这个文件，可以用低版本的hadoop-eclipse-plugin试一下，如hadoop-eclipse-plugin-2.xx，之类的。一般问题可以解决。

10. MapReduce模型

10.1 在Hadoop集群创建文件

直接在主机终端使用指令

hadoop fs -mkdir /tmp
hadoop fs -chmod -R 777 /tmp

可以在eclipse中看到多出来的tmp目录。

在这里插入图片描述
如果找不到项目栏可以参考10.8解决。

10.2 创建Map/Reduce项目

新建一个项目

在这里插入图片描述

然后选择Map/Reduce Project，点击Next。

2401_85794553
关注
Hadoop集群实验
870166708@qq.com
04-12 1925
实验介绍 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序，充分利用集群的威力进行高速运算和存储。 本实验使用四台虚拟主机搭建集群系统，网络拓扑如下 安装前准备 所需软件： Vmware Workstation 15 Pro Ubuntu 18.04.4镜像 参考教程： https://hadoop.ap...
【李老师云计算】实验一：Hadoop伪分布式集群部署与Eclipse访问Hadoop进行单词计数统计_hadoop单词统计eclipse(1)
最新发布
m0_46608024的博客
04-29 336
外链图片转存中…(img-PssyHEPu-1714326720783)][外链图片转存中…(img-AGSS0Gr6-1714326720784)][外链图片转存中…(img-o6a358Q9-1714326720784)][外链图片转存中…(img-fQKel3Ab-1714326720784)][外链图片转存中…(img-2FmvIeC4-1714326720784)]
eclipse配置mapreduce全教程
易烊千成
11-01 3894
资源提供：https://pan.baidu.com/s/1I-TxOB4qfaPuX3yJN_v9WQ Hadoop官方：https://hadoop.apache.org/releases.html 去官网下载Hadoop的安装包，在windows上解压 src的也要下载，上面的链接提供了2.6.5的，需要更高版本自行下载 下载好压缩包，在windows上解压，并新建一个hadoop-lib...
【华中科技大学软件学院】云计算：Hadoop实验
WWWzq_的博客
06-25 916
下载ssh 修改配置文件启动ssh服务 设置开机自动启动ssh服务 设置文件夹~./ssh的访问权限 文件存储的是客户端的公共密钥。确保虚拟机之间可以相互访问配置虚拟机的hostname,将原内容删除，三台机器分别写入master,data1,data2,然后保存更改该并退出重启服务器，让hostname生效配置三台服务器的hosts修改 ，使用命令改为如下每个机器都要这样修改配置服务器之间的ssh免密登录（生成密钥）实现节点间的免密访问 检验配置是否成功：使主机的文件夹支持写入解压分布
【李老师云计算】实验一：Hadoop伪分布式集群部署与Eclipse访问Hadoop进行单词计数统计
热门推荐
WtcSky的博客
03-31 1万+
本来打算写在一起，奈何一个实验的内容实在是太多了……其实我的学长已经写过云计算的实验过程并且我也得到了不少帮助，但是仍然还是要写下这一篇博客，一是把内容完全整合到这一篇博客——面向单次实验的博客；二是有许多问题是我自己遇到的；三是我的Hadoop版本不同，可以做一个更新版本的介绍，总之同学们可以自行选择。下面实验的要求短短十条不过百字，里面多少心血，要走多少坑爬多少山？就算对着别人的经验来做也总是出很多莫名奇妙的BUG，做这个实验需要好几天也是正常不过的事情，稍安勿躁吧只能说。
Hadoop集群（第7期）_Eclipse开发环境设置
weixin_34365635的博客
05-20 397
1、Hadoop开发环境简介 1.1 Hadoop集群简介 　　Java版本：jdk-6u31-linux-i586.bin 　　Linux系统：CentOS6.0 　　Hadoop版本：hadoop-1.0.0.tar.gz 1.2 Windows开发简介 　　Java版本：jdk-6u31-windows-i586.exe 　　Win系统：Windows 7 旗舰版 　　Ec...
hadoop与eclipse
10-17 101
个人笔记：（需要懂点java和用过点eclipse的）   配置完hadoop分布式环境，就要做eclipse开发了   1.配置eclipse的map/reduce比较简单   2.先现在插件，放到eclipse中   3.配置hadoop目录   4.在配置Location   碰到的错误： 1 unknown host -- 想必大家都是在window下开发的 需要...
eclipse与hadoop
云计算?
12-05 117
eclipse各种版本下载地址:http://archive.eclipse.org/eclipse/downloads/ 址:jee版没搞定，烦了直接着老板本的eclipse,hadoop插件自带的启动了 java版的： ./eclipse -data ./workspace 配置hadoop...
Hadoop入门实验
weixin_33840661的博客
05-17 159
Hadoop实验总结 一、实验目的 了解Hadoop的MapeReduce工作原理 二、实验内容 实现基于单机的伪分布式运行模拟 三、实验需要准备的软件和源 1、Jdk1.6以上下载地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html 2、Cygwin下载地址：...
Eclipse利用Hadoop平台实现统计单词个数
zem421的博客
12-20 1995
统计单词个数 要求 1.将待分析的文件（不少于10000英文单词）上传到HDFS 2.调用MapReduce对文件中各个单词出现的次数进行统计 3.将统计结果下载本地。 过程 1.首先启动hadoop,用jps判断是否启动成功，如果成功，则如下图所示 2.递归创建/user/hadoop/input目录，将不少于10000字单词的文件上传到/user/hadoop/input目录下 3.打开eclipse进行配置，填写工作空间 4.选择 Window 菜单下的 Preference 5.切换 Map/R
Hadoop课程实验和报告——Hadoop安装实验报告
06-30
Hadoop课程实验和报告——Hadoop安装实验报告
Hadoop云计算实验报告
06-14
在虚拟机Ubuntu上安装Hadoop单机模式和集群； 编写一个用Hadoop处理数据的程序，在单机和集群上运行程序。
hadoop-eclipse-plugin 用于Eclipse和Hadoop关联
03-26
将Eclipse和Hadoop关联起来需要用到 hadoop-eclipse-plugin -2.x.x.jar 的插件。这个插件的选择与hadoppy和eclipse的版本以及插件自身的完整度有关，很容易出现装好插件部分功能无法使用的情况。该插件已经在多个环境中搭配不同版本的hadoop以及eclipse成功使用。
hadoop实验指导书
01-09
hadoop实验指导书
Hadoop集群部署及测试实验（二）.docx
03-01
### Hadoop集群部署及测试实验知识点 #### 一、实验目标与要求 本实验旨在深入学习和实践Hadoop分布式文件系统(HDFS)的操作方法和技术细节。通过本实验，参与者将能够掌握以下技能： 1. **熟悉CentOS环境下的...
Hadoop全分布平台搭建-单词统计[完整]CentOS[详细]
ZYJ_OvO的博客
01-23 685
Hadoop全分布集群搭建 前言：这篇文章很长，是一个完整的Hadoop全分布集群搭建实验。代码高亮部分有完整的过程。照着就可以做出来。 经验：注意文件不要写错，注意用户目录 创建虚拟机 操作系统:CentOS 7.4 创建新的虚拟机(+) 典型(推荐)(T) 安装程序光盘映像文件:选择.iso文件 下载镜像文件 虚拟机名称(这里我设为Master),位置在输入名称后会生成一个文件夹可自定 磁盘容量用默认20G-将虚拟磁盘拆分成多个文件(M) 自定义硬件-此虚拟机的内存2G(2048MB) (计算:Ma
Hadoop与Eclipse
萝卜Master的博客
12-10 1219
将hadoop-eclipse-plugin-2.5.1.jar放入Eclipse的plugins目录下，然后重启Eclipse，使插件生效 创建Map/Reduce项目 window——show view——Map/Reduce Location: window——open prespective——other——Map/Reduce（会出现在Project Explorer列表中） 在
Hadoop实验
Mister_Yu的博客
10-30 3923
在Linux上正确安装、配置Hadoop，并能够成功运行Hadoop，再根据指示在HDFS进行相应的操作
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值