hadoop 虚拟化基础

hadoop 虚拟化基础

1. VMware虚拟网络
2. VMare网络模式
3. Vmware虚拟机克隆
4. 文件上传下载

虚拟机软件

• VMware Workstation（中文名“威睿工作站”）是一款功能强大的桌面虚拟计算机软件，提供用户可在单一的桌面上同时运行不同的操作系统，和进行开发、测试 、部署新的应用程序的最佳解决方案。它的产品可以使你在一台机器上同时运行二个或更多Windows、DOS、Linux、Mac系统。
• VMware Player小巧灵活，免费， VMware Workstation提供的基本功能都被保留了下来，并且还有所增强，如对光驱、软驱、移动硬盘、闪存等设备的支持，以及对用户网络和多种虚拟机文件格式的支持。
• VirtualBox 是一款开源虚拟机软件,号称是最强的免费虚拟机软件，它不仅具有丰富的特色，而且性能也很优异！它简单易用。

虚拟网卡、虚拟交换机

• 虚拟网卡：虚拟网卡又叫虚拟网络适配器，
  虚拟机可以通过虚拟网卡上网，Vmware安装虚拟机的时候会自动安装一个虚拟网卡,可以手动为虚拟机添加多个虚拟网卡。

• 虚拟交换机：虚拟交换机用于光/电信号转发，可以把N台电脑组成局域网，安装Vmware workstation的时候已经安装了虚拟交换机。如下图所示：
  

虚拟网桥

• 网桥bridge用来连接局域网的，用来扩展网络和通信，在vmware中只有虚拟交换机是Vmnet0的时候，在虚拟交换机Vmnet0下，我们的虚拟机通过虚拟网桥，桥接到一个真实的网络上。

虚拟DHCP服务器

• 当虚拟网卡连接到虚拟交换机Vmnet1或Vmnet8的时候，会自动安装运行虚拟DHCP（Dynamic Host
  configuration
  protocol动态主机配置协议）服务器，并且链接到这台虚拟交换机。DHCP服务器又两个作用：第一是为内部网络自动分配IP地址，第二是统一规划和管理内部网络IP地址

等等…进入工作

VM虚拟机克隆

1. Vmware 支持两种克隆类型：完全克隆和链接克隆。
   一、完全克隆是对源虚拟机一个完全的拷贝，不和原来的虚拟机共享任何资源，可以脱离原来的虚拟机独立运行。
   二、链接克隆：和原来的虚拟机共享虚拟磁盘文件，不能脱离原来的虚拟机独立运行，但是节省了克隆时间，节省了磁盘空间。
   一般是采取完全克隆的形式克隆虚拟机。
2. 克隆完了需要更改的信息（以centos7为例）：
   一、主机hostname 编辑 /etc/hostname
   二、虚拟网卡设备MAC地址，启动之前重新生成MAC地址
   三、IP地址 编辑 /etc/sysconfig/network-scripts/ifcfg-eth0

VM虚拟机克隆操作：

一、被克隆的虚拟机要关机

二、选择克隆虚拟机的状态

三、选择克隆虚拟机类型

四、编辑新虚拟机的名称

五、克隆完成之后发现MAC地址相同，重新生产MAC地址

六、启动新虚拟机，更改主机名称


七、更改IP地址

八、reboot重启虚拟机，可以查看主机名、网络配置、上网

SSH-安全外壳协议

• SSH-secure shell是一种网络安全协议，专门为远程登陆会话和其他网络服务提供安全性的加密。
  使用SSH可以把传输的数据进行加密，有效防止远程管理过程中的消息泄露问题。
• 非对称加密-即单项加密，它有一对密钥，公钥和私钥，公钥用来加密，私钥用来解密，反之不可以。
• SSH是采用的客户端和服务端架构模式的非对称加密方式。

从客户端来看，有两种验证方式:基于密码、基于密钥
一、基于密码的验证方式
如果远程登陆服务器，使用的传统方式，把用户名和密码传给服务器进行验证，如果被拦截的话，就会泄露账号信息。

用secureCRT远程登陆软件演示SSH用户名密码验证
1、客户端向服务端发起SSH请求，SSH端口是22

服务器端收到请求后，发送其公钥给客户端

3、客户端输入用户名密码，会用公钥加密，然后传给服务端

4、服务端收到公钥加密过的用户名和密码，然后用私钥解密后和本地的用户名密码匹配，匹配成功即登陆成功

二、基于密钥验证
用户名密码验证的时候，每次登陆都需要输入密码，现在需要免密登陆，比如由cs-1免密登陆cs-2

1、在学习免密登陆之前，先学习openSSH
openSSH是SSH协议的免费开源实现，是由客户端和服务端的软件构成，服务端一般是sshd进程，在后台运行并处理客户端的连接请求。客户端包含SSH程序以及向scp-远程拷贝、slogin-远程登陆、sftp-文件传输等应用程序。默认情况下centos会安装openSSH 服务

免密操作：
a、客户端生成一对公钥和私钥
ssh-keygen -t rsa（dsa）然后按四下回车

b、将公钥拷贝给cs-2:ssh-copy-id cs-2


c、向服务端发送信息，IP和用户名

发现我们实现了从cs-1到cs-2的免密登陆，反过来看下，现在是否可以实现从cs-2到cs-1的免密登陆？
答案是否定的，因为cs-2到cs-1我们还没做免密操作。

发现不能从cs-2到cs-1的免密登陆，现在我们就体会到了非对称加密，如果想实现从cs-2到cs-1的免密登陆，那么请在cs-2生成公钥和私钥，把公钥拷贝给cs-1

在windows和linux系统之间经常会文件、安装包上传和下载，sftp和lrzsz是两个经常用到的组件。
一、sftp
sftp-Secure File Transfer Protocol安全文件传输协议，可以为传输文件提供安全的网络加密，sftp是SSH的一部分，没有单独的线程守护，使用sshd线程进行守护，来完成相应的连接和相应操作。
使用secure CRT连接到centos,使用快捷键Alt+p打开和centos进行上传下载的窗口。下面我们打开sftp窗口学习几个命令：

1、pwd是显示sftp服务所在的centos默认当前目录
2、lpwd是显示Windows本地默认目录
3、ls是显示sftp服务器的默认当前目录下的内容
4、lls是显示本地默认当前目录下的内容
5、在Linux命令前加上local首字母l就是操作的本地的文件命令

6、put 上传


7、get下载


alt+p:显示sftp文件传输界面
ls:显示文件夹下内容
pwd:显示当前文件夹
cd:

二、lrzsz
lrzsz使用方便可以替代sftp,在centos中可以用yum命令安装lrzsz:
yum install lrzsz，也可以用离线安装包安装。
1、rz 上传文件
a、命令行输入rz，会弹出本地上传对话框

b、直接拖拽上传文件


c、sz下载


本人小菜一枚，欢迎各位大佬讨论交流。