AWS EMR 上跑 Hadoop 运用过程中遇到的问题总结

最新推荐文章于 2022-08-12 11:25:14 发布
最新推荐文章于 2022-08-12 11:25:14 发布
阅读量4.8k 收藏 2
点赞数 2
分类专栏： CMU: How to Write Fast Code 文章标签： hadoop aws emr
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/c602273091/article/details/70158035
版权

遇到问题

“EMR_DefaultRole is invalid.”

在AWS EMR上运行Hadoop的ngram的时候，出现下面错误：
这里写图片描述

查询【1】中的log可以发现是”EMR_DefaultRole is invalid.”，这个东西没有创建，那么可以使用【2】【3】中的办法解决，如果还不能解决，那就把IAM账户添加Administer的权限。

之后就可以使用：

aws emr create-default-roles

创建默认角色。

对于EMR的了解：【4】【5】【6】【9】

运行的时候看任务有些没有看到

注意time zone，显示的任务只显示你之前设定的时区。

AWS的命令行

看【7】【8】可以了解一些AWS的CLI的用法。

AWS的安装

看【10】，在Ubuntu或者是OS上安装AWS的CLI。

AWS的账号注册

看【11】了解AWS的注册。

最低0.47元/天 解锁文章
Snail_Walker
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
aws上部署hadoop_在AWS EC2实例上设置4节点Hadoop群集
weixin_26737625的博客
09-17 552
aws上部署hadoopInstalling Hadoop on AWS EC2 Instance 在AWS EC2实例上安装Hadoop We will try to create an image from an existing AWS EC2 instance after installing Java and Hadoop on it. If there is no instance ...
aws的EMR搭建Hadoop集群
m0_61022194的博客
12-16 2026
还是先极简介绍一下EMR是什么，Amazon EMR 基于 Hadoop 的开源框架将您的数据分布在可重新调整大小的 Amazon EC2 实例集群中并进行处理。Amazon EMR 可用于各种应用程序中，包括日志分析、Web 索引、数据仓库、机器学习、财务分析、科学模拟和生物信息学。具体的功能特性可以直接到官网查阅。直接上实验： 实验包括： 1. 使用EMR创建Hadoop集群 2. 定义schema，创建示例表。 3. 通过HiveQL分析数据，并将分析结果保存到S3上 4. 下载已经分析结果数据。
EMR：一体化Hadoop云上工作平台
weixin_34200628的博客
09-07 367
2019独角兽企业重金招聘Python工程师标准>>> ...
EMR(hadoop/hbase/phoenix)夸集群数据迁移采坑记录
weixin_34387468的博客
06-25 241
一、概述： Hbase(Phoenix)数据迁移方案主要分为 Hadoop层面(distcp)、及Hbase层面(copyTable、export/import、snapshot) 二、以下针对distcp方案详细说明(以亲测阿里EMR为例)： step1： 首先打通两个集群网络(建议内网)，新建一个tmp安全组，将两个集群的所有ECS都加入进...
sparksteps:CLI工具可在AWS EMR上启动Spark作业
05-26
火花台阶 SparkSteps允许您配置EMR集群，并通过AWS S3上传spark脚本及其依赖项。 您需要做的就是定义一个S3存储桶。安装pip install sparkstepsCLI选项Prompt parameters: app main spark script for submit spark ...
terraform-aws-emr-cluster：Terraform模块，用于在AWS上预配置Elastic MapReduce（EMR）集群
02-06
terraform-aws-emr-集群 Terraform模块可在AWS上预配置Elastic MapReduce（EMR）集群。 该项目是我们针对DevOps的全面方法的一部分。 它是100％开源的，并根据许可。 从字面上看，我们有，它们都是开源的并且维护...
airflow-spark-aws-emr:Capstone项目演示了如何使用AWS EMR（Spark）和Airflow处理大型数据集
03-06
标题中的“airflow-spark-aws-emr”指的是一个基于Apache Airflow、Apache Spark和Amazon Web Services (AWS) Elastic MapReduce (EMR) 的集成项目。这个项目的主要目的是展示如何利用这些工具处理大规模的数据集。...
terraform-emr-pyspark：使用Terraform在AWSEMR上使用Anaconda快速入门PySpark
02-04
在这个案例中，它被用来设置AWS EMR，这是一个用于大数据处理的托管服务，它支持Apache Hadoop、Spark等框架。 描述中提到的“在AWSEMR上使用Anaconda快速入门PySpark”，意味着项目将指导我们如何利用Anaconda这个...
Netflix基于AWS的大数据平台Hadoop架构解析.pdf
最新发布
10-30
在Netflix的架构中，数据主要存储在Amazon Simple Storage Service (S3)上，而非传统的Hadoop分布式文件系统(HDFS)。这一决策基于S3的高可用性（99.999999999%的持久性和99.99%的可用性）、版本控制功能（防止意外...
spark/hadoop读取s3所需要的外部依赖包
09-06
aws-java-sdk-1.7.4.jar hadoop-aws-2.7.2.jar 引入代码即可在读写中国区亚马逊s3
EMR-Hadoop4.9.0引入Phoenix服务查询HBase
csdn_lan的博客
08-27 279
Target： 此文目的是为了记录一个临时性的HBase查询需求（需要按照"info:time"过滤出某一天的数据总量），由于Hbase Shell不支持SQL协议查询不变，引入了Phoeinx使用SQL完成此需求。 另外，EMR4.9.0是不原生支持Phoenix服务的，故有此一文。 软件版本： EMR4.9.0（HDFS3.2.1 Yarn3.2.1 Zookeeper3.6.2 HBase2.3.4） Phoenix5.1.0 HBase配置（hbase-site.xml）：
在Amazon EMR上运行Hadoop MapReduce作业
最佳 Java 编程
05-17 399
不久前，我发布了如何使用CLI设置EMR群集的信息。 在本文中，我将展示如何使用适用于AWS的Java SDK来设置集群。 展示如何使用Java AWS开发工具包执行此操作的最佳方法是展示完整的示例，因此，让我们开始吧。 设置一个新的Maven项目 为此，我创建了一个新的默认Maven项目。 您可以运行该项目中的主类来启动EMR集群并执行我在本文中创建的MapReduce作业： p...
自建Hadoop数据迁移到阿里云EMR
weixin_45906054的博客
01-13 676
完整内容请点击文末“阅读原文”获取最佳实践概述应用场景客户在IDC或者公有云环境自建Hadoop集群，数据集中保存在HDFS文件系统用于数据分析任务。但是由于自建HDFS空间限制无法保存...
AWS EMR中HDFS服务配置参数
dwe147的博客
08-12 505
AWS EMR中的HDFS服务配置参数，包括调整内存参数和开启审计日志的方法
Hadoop 集群中使用 S3(对象存储)文件系统
cz124560的博客
06-15 4883
Hadoop 自带 S3 依赖，位置如下： 但是这些依赖包默认不在 hadoop classpath 下面。可以使用以下两种方法引入这两个包： 修改hadoop的core-site.xml文件： s3的配置模板（记得修改成自己的 secret key 与 access key ） 更改完毕并重启集群后 测试hdfs dfs -ls s3a://hive0614/ 等命令操作 S3 中的文件。 目前HDFS Client已经可以看到S3文件了。 如果需要yarn和MapReducer 需要修改如下文件 hdf
-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] ＜ paths＞ 选项：-p 很像Unix mkdir -p，沿路径创建父目录。
studyvcmfc的专栏
03-23 2533
1 -mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 1，-mkdir 创建目录 Usage：hdfs dfs -mkdir [-p] < paths> 选项：-p 很像Unix mkdir -p，沿路径创建父目录。 2，-ls 查看目录下内容，包括文件名，权限，所有者，大小和修改时间 Usage：hdfs dfs -ls [-R] < args&g..
HDP学习--YARN Resource Management(02)
chbxw
12-22 1362
HDP学习--YARN Resource Management(02)
yarn install info No lockfile found
热门推荐
学无止境
11-08 1万+
问题内容： ➜ vue-next git:(fe853a5a) npm install yarn -g changed 1 package in 679ms ➜ vue-next git:(fe853a5a) yarn install yarn install v1.22.17 info No lockfile found. $ node ./scripts/preinstall.js This repository requires using pnpm as the package
AWS Certified Advanced Networking - Specialty - ANS - C00 .pdf
11-30
"AWS Certified Advanced Networking - Specialty - ANS - C00是亚马逊网络服务(AWS)提供的一个高级网络专业化认证考试的参考资料。这个PDF文件可能包含了关于如何准备这个考试的相关问题和答案，特别是涉及AWS的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值