sqoop实验的准备实验:NAT模式去访问外网,yum源阿里源, 目的是安装Mysql,很复杂 rpm安装mysql很复杂 缺少很多依赖库需要安装;sqoop并不依赖于mysql,只是sqoop的实验用到了mysql
sqoop是批量数据的导入导出工具,是利用mapreduce job来实现的
安装并使用sqoop的实验内容:实现数据从HDFS=》Mysql, 数据从 Mysql=》HDFS
实验一:虚拟机连接互联网的配置
目标:虚拟机连互联网 ,虚拟机执行ping www.baidu.com能ping通百度域名,ping mirrors.aliyun.com能ping通阿里云的数据源镜像域名mirrors.aliyun.com
实验步骤:
1)使用伪分布式的虚拟机做实验,先把仅主机模式配置好,确保xshell能连上虚拟机
2)Vmware仅主机模式下,物理主机执行ping 192.168.56.10能ping通虚拟机;虚拟机执行ping 192.168.56.1能ping通物理主机,但是虚拟机执行ping 10.100.236.59不能ping通物理主机,提示“connect: 网络不可达”(10.100.236.59是物理主机实际的IP地址,每台电脑都不一样,自己查看自己的IP)
原因是仅主机模式Vmnet1虚拟网络是一个隔绝的独立网络,无法和机房的网络连通(机房网络IP是10.100.236.0网段)
============下面开始配置NAT模式联网===========
3)Vmware虚拟网络编辑器=》【添加网络】=》选择“NAT模式”=》不勾选“使用本地DHCP服务”,记住自动分配的子网IP,例如192.16.20.0,注意网关IP GATEWAY=192.168.20.2 如图所示:
4)在Vmware菜单=》虚拟机=》设置=>【添加】=》硬件类型“网络适配器”,右边选“自定义”=》“Vmnet2(NAT模式)”=》点【确定】,给虚拟机Linux增加一个网络适配器,如图所示:
5)执行reboot重启虚拟机,重启后执行ip a命令或ifconfig命令,查看新增加的网络接口(网络适配器)名称,例如eno16777736,并记住mac地址00:0c:29:ca:c3:f8(每台虚拟机可能都不一样,以自己电脑上为准)
6)执行cd /etc/sysconfig/network-scripts/ 切换到网络接口配置文件所在目录,再执行ls命令,查看网络接口eno16777736对应的配置文件为ifcfg-eno16777736(注意:系统肯定不会自动生成这个配置文件, 执行cp ifcfg-enp0s8 ifcfg-eno16777736命令,从其他网络接口的配置文件复制一个新的配置文件并一些修改即可)
7)执行 vi ifcfg-eno16777736 内容修改如下:
TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=0122fb16-78af-4802-bacf-5e8444945fce
DEVICE=eno167