自建Hadoop数据迁移到阿里云EMR

完整内容请点击文末“阅读原文”获取

最佳实践概述

应用场景

客户在IDC或者公有云环境自建Hadoop集群,数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存长期数据,或者客户有Hadoop集群迁移上云的需求。本实践方案提供如下场景的最佳实践:

基于IPSec VPN隧道 + DistCp(Hadoop原生工具),将数据迁移到阿里云EMR集群,目标存储包括HDFS,阿里云OSS和阿里云EMR的Jindo

技术架构

本实践方案基于如下图所示的技术架构和主要流程编写操作步骤:

方案优势
  • 安全性
    基于IPSec VPN/专线的方式进行数据安全传输。

  • 低成本
    在阿里云创建Hadoop类型的EMR集群和自建Hadoop集群相比有一定成本优势,同时阿里云EMR可以使用OSS作为底层存储空间,进一步降低成本。

在进行本文操作之前,您需要完成以下准备工作:

  • 拥有阿里云实名认证账号。

  • 拥有已经通过备案的域名。

  • 保证账号余额大于100元人民币。

  • 开通ECS、OSS、EMR和VPN网关等服务。

资源规划说明

  • 本方案实践的资源规划仅作为实践演示,实际业务场景资源以用户实际需求为准。

  • 本实践方案中,涉及到阿里云资源开通和购买,本文后续实例中不单独展示服务开通相关操作,请使用者自行完成。

  • 本实践方案在使用过程中,大致流程和实际操作所需的时长如下(不包含文档阅读时间),供使用者参考:

1. 自建Hadoop集群环境搭建

本实践方案中,使用上海VPC环境模拟客户IDC网络,主要安装以下组件:

(1) 在ECS上安装FlexGW VPN,用于模拟客户IDC网络中的VPN网关;
(2) 在ECS上安装Apache日志模拟器,用于生成Apache格式的日志信息;
(3) 在ECS上安装Kafka,用于集中存储Flume发送的日志;
(4) 在ECS上安装3节点的Hadoop集群,其中的HDFS用于集中保存日志数据信息。

1.1. 创建VPC网络

步骤1 登录专有网络VPC产品控制台。
步骤2 单击创建专有网络。

步骤3 在创建专有网络页面,参考下表,配置专有网络和交换机相关参数,并单击确定。



步骤4 等待专有网络和交换机创建成功后,单击完成。

1.2. 批量创建ECS实例

创建ECS实例
步骤1 登录上海区域的ECS产品控制台。
步骤2 单击右上角的创建实例。
步骤3 在自定义购买模式下,配置相关参数。
参考下表,配置基础配置相关内容。

配置完成,单击下一步:网络和安全组。

单击查看历史价格 ,在抢占式实例历史价格走势图中,可以看到可用区F的实例当前市场价格为0.034,因此,我们设置单台上限价为0.04,要求略高于当前市场价格。


步骤4 在网络和安全组页面,参考下表,配置相关参数。

配置完成,单击下一步:系统配置。

步骤5 在系统配置页面,参考下表,配置相关参数。

配置完成,单击确认订单。

步骤6 在确认订单页面,确认各项参数信息。确认无误,阅读、同意并勾选《云服务器ECS服务条款》和《镜像商品使用条款》,并单击创建实例。

步骤7 创建任务提交成功后,单击管理控制台前往ECS实例列表页面查看详情。为了在控制台便于识别ECS的用途,首先将实例名称修改为如下图所示:

步骤8 将Kafka队列和FlexGW VPN这两个实例关机,将系统盘更换为云市场的镜像,节省基础环境部署时间。


步骤9 首先为FlexGW VPN网关实例更换系统盘。

  1. 单击实例操作列下的更多 > 磁盘和镜像 > 更换操作系统。

  2. 单击右下角确定,更换系统盘按钮。

  3. 选择镜像市场,单击从镜像市场选择(含操作系统)。

  4. 在搜索框中输入flexgw,定位到FlexGW IPsec VPN服务器企业版,并单击使用。

  5. 选择自定义密码,并设置登录密码。

步骤10 参考步骤9为Kafka队列实例更换系统盘,选择下面的镜像。

(可选)配置安全组

在实例所在安全组中确认22、80和443端口的放通情况,如果有未放通端口,请按照下面步骤进行放通。
步骤1 在ECS控制台,单击FlexGW VPN网关实例操作列下的管理 。
步骤2 在左侧导航栏单击本实例安全组。

步骤3 单击对应安全组操作列下的配置规则。

步骤4 在入方向页签下,单击快速创建规则。

步骤5 在快速创建规则对话框中,根据下图配置相关参数,并单击确定 。


因篇幅原因,余下内容请点击原文链接阅读

阿里巴巴开源大数据技术团队成立Apache Spark中国技术社区,定期推送精彩案例,技术专家直播,问答区数个Spark技术同学每日在线答疑,只为营造纯粹的Spark氛围,欢迎钉钉扫码加入!

对开源大数据和感兴趣的同学可以加小编微信(下图二维码,备注“进群”)进入技术交流微信群。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值