Hadoop: 运行环境搭建 (难点详解)

本文章致力于解释Hadoop安装的细节，对每个有困惑的地方进行一个解释。

---

温馨提示：看文章之前准备一杯水!类容很干!!!（看完，妈妈再也不用担心 我安装Hadoop有困惑了。）

                 和hadoop安装的爱恨情仇,
                                各位看官，正片开始。

1.cpu核数

@1 查看物理机CPU个数（Windows10为例）

@1.1 窗口搜索 搜索 “任务管理器”

@1.2 性能–>打开资源管理器–>cpu (末尾“cpu序号+1”=cpu核数，因为

cpu序号从0开始)

@2. 那么由计算可得小编的cpu核数为 12 ==>因为11+1=12嘛（相信大家

都会做20以内的加减法）

@2.1 “处理器数量” 和 “每个处理器的内核数” 这两的乘积，也就是“虚拟机

处理器内核总数” 不要超过电脑的"cpu总和数"

@2.3 但是我们未来要开3台虚拟机 以以下为例：
hadoop102
hadoop103
hadoop104

@2.4 但是不要忘了我们的Windows也需要用到cpu,那么以12个cpu为例，

平均分的话：一个配3个核数。

@2.5 小编的真实情况是：没有理会windows，内存配的是： 6，3，3

到目前做了一个项目，也没有发现什么问题，这个还得是看各位看官自由

搭配了，但是所有的相加不要超过 电脑cpu核数即可

2.内存

@1 欧克，大家已经过了cpu核数的艰难配置，内存对大家来说：简直就

是 so easy,哪里不会看哪里。（脑海莫名的有种声音！尘封的广告！！再

次被唤醒！！！）

@2 对于学大数据的来说，电脑内存至少16个G.

@3 以小编的经验为例：以16G内存为例-----由于后面有hive的加入，小编

曾执行一个任务的时候，内存峰值飙到过6个G,所以小编配的是 8，4，4

也没有理会windows.直接拉满。（要配就顶配是吧，就像你的人生一样）

3.指定磁盘容量—50G

安静！！坐好！！ 我有几句话要讲！！！

那就是：

@1 50G 表示上限为50G，分到50G不会再分

@2 并不代表硬盘一定要把50个G分到虚拟机

@3 如果虚拟机只用了10G,那么剩余的40G，其它文件是能存放的，所以

大胆去配（就像去追小姑娘，第一步永远是 去除 那可笑的胆怯，才能畅

想未来！！小小配置，可笑可笑，配错了大不了重新配嘛！！！注意：

我说的不只是配置！！！）----- 少年，你悟了嘛！

---

如果有人问你为啥配50G,轻轻走到他旁边，把嘴凑到他耳旁说道：嘘！三

句话。此时如果他双眼发光，身体轻微抖动，并激动的说道：大师，我悟

了！！！那么你的数据之路将多了一位伙伴。如果他疑惑地问道：哪三

句！侠哥的解说都没看过，侠哥很不高兴，玛德，干他！！！（嘿嘿，开

个玩笑）

4.手动分区

@1 /boot: 刚启动虚拟机需要的资源，一般给1G就够了

@2 swap: 当电脑内存不够时，把磁盘充当内存。（此时程序会慢一些，

但是还能运行），给4G

@3 / : 加减法 50-1-4=45 ，给45G。当然不配置，默认的也行

5 VMnet子网 ip设置

等一下，小编饿了，现在凌晨12.30，我去吃桶泡面，再来写小说。

@1 对 “桥接” 和 ”nat“ 进行解释说明

@2 桥接：虚拟机直接使用物理机所在的网络

@2.1假如我们电脑连的是wife，并且ip:192.168.1.0 。那么wife分给

我们的连接ip : 192.168.1.1—192.168.1.225(家庭网第三个数一般都是1)

@2.2 那么假设 物理机（也就是我们的电脑）连接wife的ip:192.168.1.10

那么因为“桥接：虚拟机直接使用物理机所在的网络”，虚拟机连接wife的

ip:192.168.1.11(假设的，反正保证第三个数为1即可)，此时假设又多了

一台物理机 ip:192.168.1.12

@2.3 它三的关系如下

@2.4 不建议使用：

1重用，我们物理机IP是192.168.1.10，虚拟机ip:192.168.1.11,但在这个

环境中，有另一个物理机使用192.168.1.11这个ip 就会产生冲突

2 不安全，因为物理机和虚拟机都在同一个局域网内，此时同局域网内

出现了另一个物理机，那么另一个主机就能访问到我们的物理机和虚拟机

@3 NAT:不会将虚拟机暴露在局域中

@3.1 就不用担心 IP不够用（例子：虚拟IP和另一个主机IP产生冲突），

同时其它主机就不能随意访问虚拟机

@3.2 物理机对外有自己的IP地址，所以我们可以对子网ip192.168.1.0 第

三个数在1到225 任意取值，但是家庭网一般为1，所以是在 1-225 范围

除了1 任意配

6 VMnet8 讲解

@1 相信大家 已经知道 NAT 方式下 “虚拟机” 和 “物理机” 之间是相互ping的通，同时虚拟机将不

对外暴漏，并且主机对外有自己的ip地址

@2 那么是不是可以理解为 “虚拟机”和“物理机”在某个局域网内，那么这个局域网由谁提供呢？

（ok,相信大家已经猜到）----- VMnet8

@3 正片开始

@3.1 虚拟网卡（VMnet8）在装VMware的时候就已经自动装好了

@3.2 既然都是网卡了，相信大家也知道了它的作用了，实在不理解的 把它假设为 wife，同时关

于网卡的ip在 “5 VMnet子网 ip设置”，已经配置了，忘了的小伙伴可以翻回去重新看一看

@3.3 由上得知 "虚拟机"和“物理机”的交互是通过 “虚拟网卡” 实现的，那么"虚拟机"和“物理机”的

IP理论上是可以配置在 192.168.99.1----192.168.99.225这个范围的，（99是因为小编的子网配置

为99）同时又符合了“ NAT 的 物理机对外有自己的ip地址”

7 修改hosts文件

以win10 为例

有些人是没有hosts文件的，需要自己创建一个

通过以下方法才有效，亲测！自己直接创建和火绒创建都没用：
@1 win + r 输入 cmd

@2 在cmd 中输入

for /f %P in ('dir %windir%\\WinSxS\\hosts /b /s') do copy %P %windir%\\System32\\drivers\\etc & echo %P & Notepad %P

很高兴能和大家分享自己的见解，以上文章仅小编个人见解，如有错误，请大

家畅所欲言。请各位dai佬谅解，

也请大家点点赞。同时有喜欢小编的也可以点点关注哦！！！