Sqoop批量数据导入导出工具操作实训

这篇博客详细介绍了如何通过Sqoop进行数据的导入导出操作。首先,文章讲解了如何配置虚拟机以连接互联网,包括NAT模式的设置、网络接口的配置等。接着,通过YUM方式安装了Mysql数据库,并创建了root账户。然后,文章详细阐述了安装和使用Sqoop的步骤,包括配置参数、连接Mysql的测试以及数据从Mysql导入到HDFS,最后还演示了如何将HDFS的数据导回Mysql。
摘要由CSDN通过智能技术生成

sqoop实验的准备实验:NAT模式去访问外网,yum源阿里源, 目的是安装Mysql,很复杂 rpm安装mysql很复杂 缺少很多依赖库需要安装;sqoop并不依赖于mysql,只是sqoop的实验用到了mysql   

sqoop是批量数据的导入导出工具,是利用mapreduce job来实现的
安装并使用sqoop的实验内容:实现数据从HDFS=》Mysql, 数据从 Mysql=》HDFS  

实验一:虚拟机连接互联网的配置

目标:虚拟机连互联网 ,虚拟机执行ping www.baidu.com能ping通百度域名,ping mirrors.aliyun.com能ping通阿里云的数据源镜像域名mirrors.aliyun.com

实验步骤:
1)使用伪分布式的虚拟机做实验,先把仅主机模式配置好,确保xshell能连上虚拟机
2)Vmware仅主机模式下,物理主机执行ping 192.168.56.10能ping通虚拟机;虚拟机执行ping 192.168.56.1能ping通物理主机,但是虚拟机执行ping 10.100.236.59不能ping通物理主机,提示“connect: 网络不可达”(10.100.236.59是物理主机实际的IP地址,每台电脑都不一样,自己查看自己的IP)
原因是仅主机模式Vmnet1虚拟网络是一个隔绝的独立网络,无法和机房的网络连通(机房网络IP是10.100.236.0网段)
============下面开始配置NAT模式联网===========
3)Vmware虚拟网络编辑器=》【添加网络】=》选择“NAT模式”=》不勾选“使用本地DHCP服务”,记住自动分配的子网IP,例如192.16.20.0,注意网关IP GATEWAY=192.168.20.2  如图所示:


4)在Vmware菜单=》虚拟机=》设置=>【添加】=》硬件类型“网络适配器”,右边选“自定义”=》“Vmnet2(NAT模式)”=》点【确定】,给虚拟机Linux增加一个网络适配器,如图所示:

 

5)执行reboot重启虚拟机,重启后执行ip a命令或ifconfig命令,查看新增加的网络接口(网络适配器)名称,例如eno16777736,并记住mac地址00:0c:29:ca:c3:f8(每台虚拟机可能都不一样,以自己电脑上为准)

6)执行cd /etc/sysconfig/network-scripts/ 切换到网络接口配置文件所在目录,再执行ls命令,查看网络接口eno16777736对应的配置文件为ifcfg-eno16777736(注意:系统肯定不会自动生成这个配置文件, 执行cp ifcfg-enp0s8  ifcfg-eno16777736命令,从其他网络接口的配置文件复制一个新的配置文件并一些修改即可)
7)执行 vi ifcfg-eno16777736  内容修改如下:

TYPE=Ethernet
BOOTPROTO=static
DEFROUTE=yes
PEERDNS=yes
PEERROUTES=yes
IPV4_FAILURE_FATAL=no
IPV6INIT=yes
IPV6_AUTOCONF=yes
IPV6_DEFROUTE=yes
IPV6_PEERDNS=yes
IPV6_PEERROUTES=yes
IPV6_FAILURE_FATAL=no
NAME=eno16777736
UUID=0122fb16-78af-4802-bacf-5e8444945fce
DEVICE=eno167

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值