在AWS上自动执行Hadoop计算

Hadoop框架为大数据项目提供了许多有用的工具。但是自己管理它太复杂了。几个月前，我正在使用Cloudera部署Hadoop集群。我发现它仅适用于计算和存储容量不变的架构。将Cloudera这样的工具用于需要扩展的系统是一场噩梦。这就是云技术的用武之地，让我们的生活更轻松。Amazon Web Services（AWS）是此用例的最佳选择。AWS为Hadoop提供了一个名为Elastic Map Reduce（EMR）的托管解决方案。EMR允许开发人员快速启动Hadoop集群，做必要的计算，并终止他们的时候所有的工作完成。为了进一步自动化此过程，AWS为EMR服务提供了SDK。使用它，您可以使用单个命令启动Hadoop任务。我将在下面的示例中展示它是如何完成的。

我将在EMR中的Hadoop集群上执行Spark作业。我的目标是计算amazon.com上大型客户评论数据集的每个星级评分（1-5）的平均评论长度。通常，要执行Hadoop计算，我们需要将所有数据存储在HDFS中。但EMR与S3集成，我们不需要启动数据实例并 为了两分钟的计算而复制大量数据。这种与S3的兼容性是使用EMR的一大优势。许多数据集都是使用S3 分发的，包括我在这个例子中使用的数据集（你可以在这里找到它）。

最初，您应手动启动EMR集群 （使用控制台），以便让AWS为集群映像创建必要的安全组（它们将是我们自动执行脚本所必需的）。为此，请转到EMR服务页面，单击“创建群集”，然后启动具有默认设置的群集。之后，终止它，您将为主实例和从属实例创建两个默认安全组。您还应该创建一个S3存储桶来存储Spark作业执行的结果。

整个自动化解决方案包含两个Python文件。第一个是Spark作业本身（将在集群上执行）。第二个是启动脚本，它将调用EMR并将Spark作业传递给它。该脚本将被执行 在您的机器上本地。您应该安装boto3 Python库以使用AWS SDK。

job.py文件的内容：

导入 系统
进口 pyspark

sc = pyspark。SparkContext（appName = “评论”）

def to_entity（item）：

words = item。拆分（'\ t'）
尝试：
    rating = int（words [ 7 ]）
    评论 = 单词 [ 13 ]
    返回（评级，len（评论））
除了 ValueError：
    返回（无，无）

def avg_sec（a，b）：return（a [ 0 ] + b，a [ 1 ] + 1）
def avg_comb（a，b）：return（a [ 0 ] + b [ 0 ]，a [ 1 ] + b [ 1 ]）
def avg_eval（a）：返回 a [ 0 ] / a [ 1 ]

fileName = 'amazon_reviews_us_Camera_v1_00.tsv.gz'
dirName = 's3：// amazon-reviews-pds / tsv /'
rdd = sc。textFile（dirName + fileName）

outFile = sys。argv [ 1 ]

＃过滤跳过标题
评论 = rdd。map（to_entity）。过滤器（拉姆达 X：X [ 0 ] 是 不 无）。坚持（）

INIT =（0，0）
结果 = 评论。aggregateByKey（init，avg_sec，avg_comb）。mapValues（avg_eval）
结果。saveAsTextFile（outFile）
launcher.py文件的内容：

导入 boto3
进口 时间
import argparse

parser = argparse。ArgumentParser（description = '在AWS EMR上启动Spark作业'）

解析器。add_argument（'aws_access_key'，metavar = 'ACCESS_KEY'，help = 'AWS Access Key'）
解析器。add_argument（'aws_secret_key'，metavar = 'SECRET_KEY'，help = 'AWS Secret Key'）
解析器。add_argument（'aws_region'，metavar = 'REGION'，help = 'AWS Region'）
解析器。add_argument（'bucket'，metavar = 'BUCKET'，help = 'S3 Bucket'）
解析器。add_argument（'job_file'，metavar = 'JOB_FILE'，help = 'Spark Job file'）
解析器。add_argument（'result_folder'，metavar = 'RESULT_FOLDER'，help = '结果的S3文件夹'）
解析器。add_argument（'cluster_name'，metavar = 'CLUSTER_NAME'，help = 'EMR Cluster Name'）
解析器。add_argument（'key_name'，metavar = 'SSH_KEY_NAME'，help = 'SSH Key Name'）
解析器。add_argument（'master_sg'，metavar = 'MASTER_SG'，help = '主实例组的安全组ID'）
解析器。add_argument（'slave_sg'，metavar = 'SLAVE_SG'，help = '从属实例组的安全组ID'）

args = 解析器。parse_args（）

client = boto3。客户（

'emr'，
aws_access_key_id = args。aws_access_key，
aws_secret_access_key = args。aws_secret_key，
region_name = args。aws_region

）

s3Client = boto3。客户（

's3'，
aws_access_key_id = args。aws_access_key，
aws_secret_access_key = args。aws_secret_key，
region_name = args。aws_region

）

邮票 = STR（INT（时间。时间（）））
s3JobFileName = 'job_' + stamp + ' .py '
s3ResultFolderName = args。result_folder + '_' + 戳

s3Client。upload_file（ARGS。job_file，ARGS。桶，s3JobFileName）

响应 = 客户端。run_job_flow（

Name = args。cluster_name，
LogUri = 's3：// aws-logs-511622038217-eu-central-1 / elasticmapreduce /'，
ReleaseLabel = 'emr-5.17.0'，
Instances = {
    ' MasterInstanceType'：'m4.large'，
    'SlaveInstanceType'：'m4.large'，
    'InstanceCount'：5，
    'Ec2KeyName'：args。key_name，
    'KeepJobFlowAliveWhenNoSteps' ：虚假，
    'TerminationProtected'：错误，
    'HadoopVersion'：'2.8.4'，
    'EmrManagedMasterSecurityGroup'：args。master_sg，
    'EmrManagedSlaveSecurityGroup'：args。slave_sg
}，
步骤 = [
    {
        '名字'：'星火工作'，
        'ActionOnFailure'：'继续'，
        'HadoopJarStep'：{
            'Jar'：'command-runner.jar'，
            'Args'：[
                'spark-submit'，
                '--deploy-mode'，
                '集群'，
                's3：//'  +  args。bucket  +  '/'  +  s3JobFileName，
                's3：//'  +  args。bucket  +  '/'  +  s3ResultFolderName
            ]
        }
    }，
]
应用 = [
    {
        '名字'：'火花'
    }，
]
VisibleToAllUsers = True，
JobFlowRole = 'EMR_EC2_DefaultRole'，
ServiceRole = 'EMR_DefaultRole'，
ScaleDownBehavior = 'TERMINATE_AT_TASK_COMPLETION'，
EbsRootVolumeSize = 32

）

打印（“响应：” + str（响应））
由于launcher.py需要许多参数，因此通过包含此命令的模板shell脚本更容易调用它：

python3 launcher.py \
<AWS_KEY_ID> \
<AWS_SECRET> \
<REGION> \
<S3存储桶（已创建）> \
<Spark作业文件（本地）> \
<输出S3 foler名称> \
<CLUSTER_NAME> \
<EC2_SSH_KEY_NAME> \
<SECURITY_GROUP_ID_FOR_MASTER_INSTANCE（已创建）> \
<SECURITY_GROUP_ID_FOR_SLAVE_INSTANCES（已创建）>