分布式爬虫（一）：配置虚拟机

   临近毕业季，因辅导员要求，写一份分布式爬虫的详细步骤文档，给予19届师弟师妹们参考学习。本应这次是继续上一个的字体加密爬虫，由于种种原因限制，就先写一份基于scrapy框架的分布式爬虫吧，后续再完善之前的字体反爬以及scrapy框架爬虫的博客。

操作环境： Window10、Centos7、VMware Workstations Pro15、Xshell6

相关文章： 爬虫（豆瓣电影、拉钩网、腾讯zp、新笔趣阁、链家网、起点中文网），豆瓣分析

---

   准备工作：VMware Workstations Pro15安装包以及Centos7虚拟镜像
由于Centos7虚拟镜像大小超过4G，无法使用QQ邮箱、百度网盘以及蓝奏云上传，所以由小伙伴自行下载。

VMware15压缩包： 里面包含安装步骤以及许可证秘钥（破解）：
链接：https://pan.baidu.com/s/1c9gXD27V_rV2eRy-UUpAwQ
提取码：wa3x

Centos7虚拟镜像下载地址： https://mirrors.tuna.tsinghua.edu.cn/centos/7.8.2003/isos/x86_64/

打开网址，直接点击 CentOS-7-x86_64-DVD-2003.iso 下载即可：

一、安装虚拟机

  打开VMwate，点击 创建新的虚拟机 。

  点击 典型(推荐)(T) ，继续下一步。

  点击 稍后安装操作系统(S)，继续下一步

  客户机操作系统点击 Linux(L)，版本(V)选择 CentOS 6 64 位，继续下一步

  虚拟机名称以及位置自己 自定义 即可，位置尽量自己放在D盘或者E盘（除C盘以外的磁盘），创建一个空的文件夹放置创建的虚拟机文件即可。继续下一步

  默认选20G，点击 将虚拟磁盘拆分成多个文件(M)，继续下一步

  点击 自定义硬件©

  运行内存拖动到 2GB 即可

  点击 使用ISO映像文件(M) ，点击浏览，将之前准备好的虚拟机镜像选入其中即可。最后点击关闭，选择完成。

  查看创建的虚拟机：scrapy_redis01，点击开启此虚拟机

  选择点击 Install CentOS 7

  选择 中文 —> 简体中文(中国) ， 点击 继续

  1、点击软件选择(s)： 左边点击最小安装，右边点击开发工具

  点击安装位置，选择图片指定的即可完成。

  点击ROOT密码，自定义设置root密码。设置完成，等待安装。

  出现以下界面即安装成功，点击重启

  输入root用户名以及密码，注意密码是看不见的，直接输入即可。登录成功。

二、配置网卡

  打开VMware软件。取消勾选使用本地DHCP服务将IP地址分配给虚拟机，查看DHCP确保未启用，点击NAT设置。

  点击编辑->虚拟网络编辑器-> NAT设置，查看网络VMent8与本机网关是否一致。

  查看本机中的网络VMent8：控制面板->网络和Internet->网络连接
 1、右键点击VMent8
 2、点击属性
 3、点击出现的IPv4选项

  默认网关必须一致，但是子网ip最后一位可以变换。

  进入目录，查看网卡名称：cd /etc/sysconfig/network-scripts
  输入ls可看出第一个ifcfg-ens33就是网卡。

  配置网卡（ifcfg-ens33就是网卡，用vi编辑器打开）
  (进入vi编辑器，按i激活编辑模式，编辑完成后按Esc取消编辑模式，输入：q退出，输入:w保存，输入:wq保存并退出，命令后面加！号表示强制执行）

网络配置文件内容编辑如下（加粗标识为变动的部分）：
TYPE=“Ethernet”
PROWSER_MNLY=no
BOOTPROTO=“static”
DEFROUTE=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=“yes”
IPV6_FAILURE_FATAL=“no”
NAME=“eno16777736”
UUID=“0e6ca219-0d2e-4000-8f17-bf7424e46595”
DEVICE=ens33
ONBOOT=“yes”
IPADDR=192.168.189.21
GATEWAY=192.168.189.2
NETMASK=255.255.255.0
DNS1=8.8.8.8
DNS2=8.8.4.4

  按Esc键退出编写，Esc+:+Shift三个键同时按，底下出现冒号，输入wq!保存强制退出即可。

  重启网卡，使配置生效：service network restart

  关闭Selinux，将SELINUX 修改为disabled


  关闭防火墙：systemctl stop firewalld
  修改节点主机名 hostnamectl set-hostname spider
  重启：reboot

  输入ping www.baidu.com访问百度，网络已配置好！

三、Xshell连接

Xshell安装包：
复制这段内容后打开百度网盘手机App，操作更方便哦
链接：https://pan.baidu.com/s/1cDj1rL6xSZ4swtX5sq–ng
提取码：ssoi

  具体安装Xshell就不详细介绍了，直接傻瓜式下一步安装即可，需要注意的是第一步先安装红色标的XshellPlus6_wm (1).exe，安装后先别打开，继续安装下一个黑色标志的Xshell-6.0.0086p.exe，使之达到破解效果使用。

  使用Xshell连接虚拟机，使之更方便使用虚拟机终端。
  名称(N)： 自定义。
  主机(H)： 与l需要连接的虚拟机ip一致。

  点击接受并保存(S)

  输入用户名，一般默认root，若之前安装设置了其他用户名，则按设置的用户名填入。勾选记住用户名®，点击确定。

  填入之前设置好的用户密码，勾选记住密码®，点击确认。

  输入python，如图所示，已连接成功！

  虚拟机安装以及配置网络已完结，下一篇博客继续安装配置Python3.6.5以及redis数据库的安装，若对此还有疑问的小伙伴可在评论区留言。

  “赠人玫瑰,手有余香”，看完的小伙伴记得点赞收藏，感谢！