在windows+Linux环境下搭建Hadoop集群

一、背景

在Linux环境成功搭建的基础上（传送门：http://www.cnblogs.com/lvli/p/8580437.html），博主又衍生出了新的想法。

以Hadoop的特点，那么我们可不可以利用那些常人眼中已是废物（无法玩游戏）的机器，而低成本地搭建集群。再就是，一般来说，windows系统更加常用，Linux系统使用起来其实是需要一定的学习成本，所以我们可不可能建立一个其实使用环境是Linux系统但是并不需要更换自己的windows系统呢？其实我们之前已经利用虚拟机做到了，但是所有的虚拟机都是在同一台机器上，会造成那台机器负担过重，影响使用。

那么我们就可以在每台机器上只建立一个虚拟机，而充分利用每台机器的性能。 -。-

二、过程

想到很容易，但是做起来真的不是一般的难。

我共经历了两段时期。股市有一种曲线，样子类似于U或者V，我第一段大概走得就是下行线。其实之所以要弄这个集群，一开始也是为了做一个项目，基于企业进销项发票数据的异常企业预测分析。该项目提供的数据量相对于我之前所接触的数据量而言是相当大的，我想着用真实机器搭建一个集群来跑这些数据。学校的机器或者说网络是配置好的，看了IP也是在同一个局域网内。即使在不配置任何东西的情况下，局域网中的机器也是可以互相连通的。我想的就是，先验证机器之间能不能连通，再通过配置，验证，每个虚拟机和机器之间能不能连通，最后再验证每个虚拟机之间能不能连通。

按部就班地按照想法，按照步骤，做了以后，集群之间连不通！我连虚拟机和宿主机器之间都连不通！连不通外网倒是正常，因为是主机模式嘛，但是连不通宿主机器！我当时真的是怎么也想不通，而且我做的时候还没当回事儿，让一个外行来帮我，结果就很尴尬。另外一边，我的老师还不断地催我，大概的意思就是弄不好就不要弄了，先设计项目方案重要。差不多是三天的样子，在各种各样因素的刺激下，我当时是选择了放弃……当机立断，换了一个项目，企业信息族谱分析。但是我留下了一个结，我猜大概问题就是出在网络配置上，我的网络知识很欠缺，百度搜相关的问题，我似乎捕捉到一点办法的影子--网关。

我在做完当前项目的需求设计之后，有了一个空档，于是我又没出息地去碰了那三台电脑，进入了第二个阶段。

首先，理清思路。其实，在第一段到第二段的时间内，我开启了健身的不归路，然后还有影响最大的是读了刘润老师的文章。最有趣的还是，刘润：来吧，测测你能否加入微软 | 5道微软面试题，总之就是干了一堆看似和我正要说的事没有关系的事。我的总目标是，搭建一个集群。集群需要每个机器之间可以连通，我虽然是要搭建Hadoop的集群，但是Hadoop的配置，Java的配置，时间同步，ssh免密码登录都是不会影响连接，且以连通为基础。那么问题就出在最开始，主机的配置。既然要连接，那么大概问题就是网络配置。我已经确保我的四台机器在同一个局域网内，但是虚拟机在不在局域网内呢。我一开始的想法是两种可能，一种是还按照当前的配置（主机模式），但是我改虚拟机的配置，把虚拟机的IP改到和局域网的网段一致，这样有可能连通。还有一种，我自己重新配置，使用网桥模式连接。

偶尔进入了一个讲解网桥模式搭建的网页让我选择了第二种，我一步一步地照做。先在windows系统下，检测本地网络有没有网桥协议----通过虚拟机的网络配置器，将网卡的自动选择改为机器使用的网卡----将虚拟机网络改为网桥模式----进入虚拟机系统，根据本地网络的数据，配置IP，子网掩码，网关和DNS----重启网络服务。这样做，打开浏览器，我真的连通了网络，但那还是外网，于是我再ping宿主机器的IP，这次真的连通了！一台连通以后，我看见了希望，我按照同样的步骤继续配置其他机器，当然，虚拟机和宿主机器之间都可以ping通了，但我猜，之前ping不通只是网关的原因。最后到了关键的一步，也就是，虚拟机之间是否可以连通。事实上就是正确地使用了桥接模式后，虚拟机之间是可以直接连通的。

我之前的想法就是虚拟机----宿主机器，宿主机器----宿主机器——>>虚拟机-----虚拟机，但应该是 虚拟机----虚拟机，宿主机器在此时反而只充当了一个网卡的作用，网络知识的不足确实使我绕了一个很大的弯子。

三、配图

最后配上成功的图。

转载于:https://www.cnblogs.com/lvli/p/8656588.html