安装完yarn测试小案例

于 2023-09-18 15:31:38 发布
阅读量110 收藏
点赞数
文章标签： 大数据 hadoop hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/xxhcomputer/article/details/132980738
版权

首先需要看到这些进程   除了zookeeper   其他的都能正常显示  表示yarn安装成功

首先在hdfs上传需要测试的文本文件，例如a.txt

测试指令hadoop jar hadoop-mapreduce-examples-2.6.5.jar wordcount  /input  /output
注意这里的jar包名字要跟你hadoop里面jar包版本一致

yarn jar $HADOOP_HOME/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.3.4.jar wordcount /input/a.txt /output

运行后

再可以通过来查看

在hdfs的9870端口的UI上查看

需要查看下面那个文件

hadoop fs -cat /output/part-r-00000

xxhcomputer
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
案例检查测试
02-20
前端测试 要解析的基本前端演示项目 :rocket: 快速开始 创建一个Gatsby网站。 使用Gatsby CLI创建一个新站点，并指定最小的启动器。 # create a new Gatsby site using the minimal starter yarn gatsby 开始开发。 导航到新站点的目录并启动。 cd my-gatsby-site/ yarn develop 打开代码并开始定制！ 您的站点现在正在！ 编辑src/pages/index.js以实时查看您的网站更新！ 了解更多
horovod-yarn:Horovod on Yarn测试用例
04-04
Horovod纱线 提前在纱线上提供​​一个horovod的方案。此方案可以在本地进行多进程的测试 driver启动一个rendevous服务器 各个工人通过注入一些horovod运行时变量，即可启动 司机 python3 driver.py --num_proc=2 任务 python3 tensorflow2_minist.py --port=34824 --rank=0 --size=2 --local_rank=0 --local_size=2 --cross_rank=0 --cross_size=1 python3 tensorflow2_minist.py --port=34824 --rank=1 --size=2 --local_rank=1 --local_size=2 --cross_rank=0 --cross_size=1
Spark的Yarn模式及其案例
Faith_xzc
08-11 2822
目录基本概念Yarn模式搭建1. 解压缩文件2.修改配置文件启动集群测试Spark中examples案例1. 提交应用2.Web 页面查看日志配置历史服务器1.具体步骤2.重新提交应用3.Web 页面查看日志 基本概念 独立部署（Standalone）模式由Spark 自身提供计算资源，无需其他框架提供资源。这种方式降低了和其他第三方资源框架的耦合性，独立性非常强。但是也要记住，Spark 主要是计算框架，而不是资源调度框架，所以本身提供的资源调度并不是它的强项，所以还是和其他专业的资源调度框架集成会更靠谱
hadoop 0.23 YARN分布式程序的编写 （Hadoop MapReduce Next Generation - Writing YARN Applications）
bertzhang的专栏
12-26 3995
原文：http://hadoop.apache.org/common/docs/r0.23.0/hadoop-yarn/hadoop-yarn-site/WritingYarnApplications.html 目的     这个文档从比较高的层面上描述了如何编写一个YARN应用 概念和流程     首先说的概念是“Application Submission Client”他负责将“Ap
【大数据】Hadoop_Yarn➕实操（附详细代码）
最新发布
YG15165的博客
08-03 576
Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce等运算程序则相当于运行于操作系统之上的应用程序。
hadoop源码_Apache Hadoop YARN：Client<>ResourceManager源码DEBUG
weixin_39683526的博客
11-30 109
点击关注上方“知了小巷”，设为“置顶或星标”，第一时间送达干货。本文将通过DEBUG的方式进行源码跟踪，探查YARN客户端与ResourceManager之间简单的交互过程，以yarnClient.getAllQueues()获取YARN集群所有队列信息为例进行演示。Hadoop版本3.2.1DEBUG环境：IntelliJ IDEA一、 测试用例这里直接调用YarnClient的静态方...
HadoopYARN学习记录（YARN 的安装部署和管理）
wenqi
10-30 659
实验环境：linux操作系统，Hadoop环境 1.YARN的安装 Hadoop2.0以后自带yarn，所以使用yarn进行一个词频统计的demo 2.启动hadoop 输入以下命令，回车，进入/apps/hadoop/sbin目录 cd /apps/hadoop/sbin 回车后显示如下 root:/apps/hadoop/sbin$ 在当前目录下输入以下命令，回车，启动hadoop ./start-all.sh 启动正常显示如下 WARNING: Attempting to start al.
Spark - OnYARN 模式搭建，并使用 Scala、Java、Python 三种语言测试
小毕超博客
12-04 1485
安装前需要提前安装好 环境，关于 和 集群的搭建可以参考下面我的博客：下面是我 的安装结构开始前请确保 已经成功启动起来。准备一台服务器，可以和 装在一台机子上，下面有需要读取 的配置，如果是台纯净的服务，需要将 的配置文件放上去。Yarn 需要配置历史服务器，如果没有配置通过修改下面文件开启：修改 Hadoop 安装目录 文件： 添加下面配置： 该需要同步到集群的其他节点： 重启 集群： 下载 安装包，这里我用的 版本：先将下载后的安装包上传至 节点，解压安装包： 进入到加压目录
详解Flink中yarn部署模式以及测试
mo
08-26 5562
在Flink中一共有三种部署模式,分别为local，standalone和yarn模式，由于前两者主要是用于开发和测试，本文将不再赘述，企业中用的更多的是yarn模式，关于yarn模式下为什么比standalon模式要好主要有一下几个方面 1.资源按需使用,不会因为各自内置的调度争抢资源,在者类似于像spark，flink等框架他们的主要强大之处在于是计算，调度的话还是yarn是强项，从而可以提高集群的利用率。 2.对于yarn来说，任务有优先级，根据优先级运行作业。 3.基于Yarn调度系统可以自动化的处
集群安装：YARN安装（测试）
军军的专栏
02-07 1117
1、准备工作：修改网卡和主机名（在三个节点同时操作）    1）、修改网卡1：  注意：此处只用一个网卡就可以了，本地IP（10.10.10.1）可以不用配置 Vi/etc/sysconfig/network-scripts/ifcfg-eth0   修改网卡2：     设置好后重启网络服务：   看网卡的配置信息：     2）、修改主机名
网站案例分析及Hadoop分布式集群环境（全套视频+课件+代码+讲义+工具）
02-20
01_MapReduce框架处理数据的流程及几点注意 02_编写MapReduce编程模块 03_MapReduce数据类型及自定义数据类型...10_分布式安装部署：启动HDFS、YARN服务及测试程序 11_分布式安装部署：配置主从节点之间的SSH无密钥登录
robit-case：研究案例
02-11
yarn test 在交互式监视模式下启动测试运行程序。 有关更多信息，请参见关于的部分。yarn build 构建生产到应用程序build文件夹。 它在生产模式下正确捆绑了React，并优化了构建以获得最佳性能。 最小化构建，文件名...
rocket-shoes:Redux学习案例
04-18
在交互式监视模式下启动测试运行器。 有关更多信息，请参见关于的部分。 yarn build 构建生产到应用程序build文件夹。 它在生产模式下正确捆绑了React，并优化了构建以获得最佳性能。 生成被最小化，并且文件名...
egg-socket-io的demo案例
06-01
主要实现egg利用egg-...里面2个文件egg、和html，一个是egg的 你更新下依赖，可以直接启动，还一个是html可以直接测试后端的推送。 演示地址看这里https://blog.csdn.net/xuelang532777032/article/details/117447442
Yarn弹性队列测试
跟着大数据和AI去旅行
11-02 500
Yarn 调度器中的 Capacity Scheduler 和 Fair Scheduler 都支持弹性扩容, 现对 Fari Scheduler 进行弹性扩容测试。 Yarn 动态资源池配置配置如下： 一、不限制最大资源数 1、yarn配置 2、测试 $ sudo -u hdfs hadoop jar hadoop-mapreduce-examples.jar pi -Dmapreduce.job.queuename=test 1000 100 WARNING: Use "yarn jar" to
Flink On Yarn 模式说明与测试
若兰幽竹
03-29 2675
Flink On Yarn 模式说明与测试一、环境说明二、环境搭建三、Flink On Yarn模式四、启动Session Cluster测试五、Per Job Cluster测试六、小结 一、环境说明 三台虚拟机内存分配如下： 节点 内存 hadoop002 4G （主节点，内存分配大些） hadoop003 2G hadoop004 2G 如条件允许情况下，可以将所有节点内容调整高些，如4G Hadoop集群环境配置如下：全分布式环境 节点 安装路径 dat
Hadoop之YARN的安装与测试
qq_41440381的博客
11-01 712
1.配置计算调度系统Yarn和计算引擎Map/Reduce 1.1 配置mapred-site.xml namenode上配置mapred-site.xml，默认没有mapred-site.xml文件，只有一个模版文件mapred-site.xml.template 拷贝一个重命名一下即可， cp mapred-site.xml.template mapred-site.xml 然后配置以下内容：...
Kylin大数据实战学习教程
11-26
本课程为专题课，通过全面讲解Kylin架构原理、分布式集群搭建以及项目案例，让你快速掌握Kylin实时大数据BI技术，从而解决海量数据多维指标动态计算耗时问题、复杂条件筛选问题以及跨月、季度、年等大时间区间查询问题。
大数据技术原理与应用（第四章YARN测试）
m0_47554321的博客
10-16 623
大数据技术原理与应用（第四章测试）
yarn安装完怎么配置环境变量
05-11
配置 Yarn 的环境变量可以使得...6. 在变量值的最后添加 Yarn 安装路径的 bin 目录，例如：C:\Program Files (x86)\Yarn\bin； 7. 点击“确定”按钮保存； 完成上述步骤后，重新打开命令行终端，输入 yarn 命令即可。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值