Windows10虚拟机上的spark环境搭建_spark 在单台虚拟机中的安装和配置-CSDN博客

本文链接：https://blog.csdn.net/weixin_42926836/article/details/107387441

（**ps:**需要各种安装包的可以把邮箱留下哦）
多年前的文章，现在博客换了，所以迁移一下咯。

1、虚拟机搭建

我是按照这个教程来安装VMware的：
http://jingyan.baidu.com/article/215817f78879c21edb142379.html
以上方法安装以后需要产品密钥，在此贡献出小伙伴的密钥：
VF58R-28D9P-0882Z-5GX7G-NPUTF

2、VM安装centOS虚拟机的教程

我是按照下面这个教程来得：
http://www.jb51.net/article/116641.htm

（1）处理报错

**报错：**已将该虚拟机配置为使用 64 位客户机操作系统。但是，无法执行 64 位操作。
这里写图片描述
解决方案：
先关机（重启不行），出现logo的时候按下F12.然后enter setup–>advanced–>CPUset up, 将Intel® Virtualization Technology 设置为：Enabled
可以参考以文章：http://blog.csdn.net/u010694764/article/details/53886061

**问题：**到这一步我原本以为虚拟机已经装好了，在小伙伴夏夏的帮助下才发现根本没有哇哎。
仔细一看系统会提示两个错误：
（1） VMware 12安装CentOS 6.9时出现：The centos disc was not found in any of your drives.Please insert the centos disc and press OK to retry
（2） VMware安装时出现"Operating System not found"之解决方法

**解决方案：**在出现以下图标的时候一定要选择skip：
这里写图片描述
具体看下面网址：
http://www.cnblogs.com/EasonJim/p/7198450.html

（2）处理完报错以后就可以安装centOS了

我是参考的这篇文章：
http://www.cnblogs.com/shishanyuan/p/4701510.html

3、连接虚拟机的网络

检查是否联网，如果呈现一下状态（网络带红叉），表明没有链接网络。
这里写图片描述
只需点击下图所示的system eth0即可。

4、接下来是搭建spark环境

参考的是这个博客：http://www.cnblogs.com/shishanyuan/p/4701510.html
重点安利！偶然发现这个博客的楼主是《图解spark核心技术与案例实战》的作者郭景瞻，写的超级详细，除了没有处理各种报错的解决方案，可以说是完全能作为教科书来看了。

5、在搭建过程中出现的几个小问题以及解决方案

（1） IP、网关、DNS、子网掩码设置

作为一个纯正的统计学出身的宝宝，设置IP的时候，一直不知道IP、网关、DNS、子网掩码该怎样设置，是什么东西，这里大家去百度一下这些关系和定义，应该就大致明白其设置原则了。设置原则如下：
IP随意设置，但得保证和虚拟机的网关同一网段；DNS可以和网关一致；子网掩码和虚拟机的一致。

ps:如何查看虚拟机的网关、掩码等

打开”编辑“==》虚拟机网络环境，标示如下：
这里写图片描述

（2）关闭selinux之后总是开不了机，出现Kernel panic – not syncing: Attempted to kill init

解决办法：
http://jingyan.baidu.com/article/e9fb46e19c73167521f76681.html
注意，鼠标一定要点到屏幕上才按E键！

（3）出现问题：slave1: ssh: connect to host slave1 port 22: No route to host

(1) 分别对三个虚拟机执行指令ifconfig，查看各虚拟机ip地址，发现slave1和slave2的IP改变了。
(2) 解决方案：http://www.cnblogs.com/yaox/p/6635312.html
(3) 原因：linux中使用ifconfig命令查看网卡信息时显示为eth1，但是在network-scripts中只有ifcfg-eth0的配置文件，并且里面的NAME=“eth0”。
正常来说，Linux在识别网卡时第一张会是eth0，第二张才是eth1。有时候我们使用虚拟机克隆技术后网卡的信息就会改变，新克隆出来的虚拟主机网卡名字可能变为eth1.无论我们怎么修改都无法改变，这就对我们使用N台虚拟机进行HA-heartbeat实验时造成了困扰。
在这里成这样是因为复制系统的过程中复制的文件已经有一个网卡在/etc/udev/rules.d/70-persistent-net.rules被识别成了eth0，而虚拟机中的识别成了eth1