Hadoop3.1.3简单测试使用

最新推荐文章于 2022-06-09 10:15:38 发布
最新推荐文章于 2022-06-09 10:15:38 发布
阅读量695 收藏 2
点赞数
分类专栏： Hadoop 文章标签： hadoop mapreduce hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_46480020/article/details/122900291
版权

Hadoop3.1.3简单测试使用

上一章：Hadoop3.1.3安装

测试使用hadoop统计一个文档中各个词语出现的次数

cd /root/
mkdir input && cd input
vi word.txt
冷雨
冷雨GieGie
大帅B 丑B
丑B
skr
冷雨

# 保存，退出
hadoop jar /usr/local/hadoop-3.1.3/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount input output

结果在/root/output文件夹中，内容如下：
在这里插入图片描述

努努&威朗普
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【转载】Hadoop3 使用测试
xsjyahoo的专栏
05-08 233
Hadoop 的生态框架 大概就是 HDFS负责分布式存储，Yarn作为数据调用中间件兼容各种数据分析软件，MapReduce负责分布式计算并汇总。 安装后的测试 参考下面的链接 https://www.jianshu.com/p/1d99be0d2544 使用Java进行测试 参考下面的链接（待验证） https://blog.csdn.net/u013521220/articl...
Hadoop学习3：Hadoop3.1.3本地模式测试以及完全分布模式测试
qq_43967413的博客
11-29 882
1 本地模式 1 本地模式 在对应的hadoop家目录下执行以下命令 cd /opt/module/hadoop 3.1.3 # 在hadoop-3.1.3文件下面创建一个input文件夹 mkdir input # 将Hadoop的xml配置文件复制到input cp etc/hadoop/*.xml input #执行share目录下的MapReduce程序，这里需要在hadoop的家目录下执行，如上图那样 bin/hadoop jar share/hadoop/mapreduce/hadoop.
Hadoop-3.0.0测试（单机）环境搭建
马超的博客
10-14 3619
下载hadoop-3.0.0解压到本地（基于jdk-1.8开发，jdk-1.7已停止更新） http://www-us.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz 修改/etc/hosts 增加本机ip和用户名的映射 修改配置文件 1.hadoop-env.shexport JAVA_H
HADOOP读写性能测试
热门推荐
cyf_2008的博客
06-11 1万+
可使用hadoop自带的工具进行读写性能测试
Hadoop3.1.3.rar
06-02
为了安装和使用Hadoop 3.1.3，你需要解压"Hadoop3.1.3"压缩包，配置相关的环境变量，如`HADOOP_HOME`，然后根据你的需求设置集群配置文件（如`core-site.xml`, `hdfs-site.xml`, `yarn-site.xml`等）。在完成所有...
hadoop-3.1.3.tar.gz
12-06
同时，可以使用Hadoop命令行工具进行简单测试，如`hadoop fs -ls /`，查看HDFS根目录下的文件。 八、Hadoop安全与优化 在生产环境中，Hadoop还需要考虑安全性，如使用Kerberos进行认证，以及性能优化，如调整内存...
大数据 hadoop-3.1.3 linux 安装包
06-25
为了验证Hadoop安装成功，可以运行一些简单的测试，如`hadoop fs -ls /`检查HDFS根目录，或者使用WordCount示例程序处理数据。Hadoop还提供了丰富的工具，如HBase（分布式数据库）、Hive（数据仓库工具）和Pig（数据...
hadoop-3.1.3.tar jdk-8u212-linux-x64.tar 以及hadoop3.1.3配置文件(已修改好)
最新发布
07-22
6. 测试Hadoop集群：通过`hadoop fs -ls`检查HDFS是否工作正常，运行简单的MapReduce示例验证集群。 在实际部署中，还需要考虑网络配置、安全设置（如Hadoop的Secure Mode和Kerberos认证）、监控工具和日志管理等。...
hadoop-3.1.3-src.tar.gz
11-06
- **本地模式**：开发者可以在单机上运行Hadoop，进行快速测试和调试，无需真实分布式环境。 - **日志与调试工具**：如Hadoop的日志框架Log4j和JMX监控，帮助开发者诊断问题。 5. **Hadoop生态与扩展** - **...
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
03-17
hadoop2.7.3+hive1.2.1+spark2.0.1性能测试
hadoop单元测试
flash8627的专栏
01-13 737
整理中 待续...
hadoop3.0.3版本Linux单机测试版配置
博客标题不能为空
07-17 386
本篇为结合其它博主和个人总结所得。 全篇为复制粘贴Linxu虚拟机上配置所来，所有的文件路径视自身而定，仅作参考。   配置文件在目录/etc/hadoop下 core-site.xml: <configuration>        <property>               <name>fs.defaultFS</name>   ...
hadoop学习笔记3：分布式搭建及测试
2010yhh
02-26 1449
hadoop学习笔记3：集群/分布式搭建及测试hadoop学习笔记3集群分布式搭建及测试 节点网络配置 ssh无密码登陆节点 Hadoop分布式配置 hadoop分布式实例测试记录一下hadoop集群搭建，使用3个虚拟机做为节点来搭建集群环境，并进行测试。 环境： ​ 虚拟机ubuntun16.0.4， ​ jdk1.8.0_111, ​ hadoop-2.7.3, 下载
Hadoop集群性能测试
木东居士
04-13 1万+
前言测试方法临时的一个小测试，主要目的是测试一下集群的IO。现从两方面进行测试：系统级别和集群级别。集群环境 10台物理机，64G内存，2T硬盘。 cdh5.x 工具测试过程中使用到的工具。 dd hdparm iperf hadoop benchmark 系统级别测试通过对集群节点测试，块写40G耗时49秒，磁盘写IO 873MB/s，读IO 1022.49MB/s，点对点网络IO大概110MB/
hadoop编程小技巧（8）---Unit Testing (单元测试)
fansy1990的专栏
07-29 3467
所需环境：Hadoop相关jar包（下载官网发行版即可）；下载junit包（最新为好）；下载mockito包；下载mrunit包；下载powermock-mockito包；相关包截图如下：应用场景：在进行Hadoop的一般MR编程时，需要验证我们的业务逻辑，或者说是验证数据流的时候可以使用此环境，这个环境不要求真实的云平台，只是针对算法或者代码逻辑进行验证，方便调试代码。实例：Mapper：pac
测试hadoop集群读写性能及计算性能的几个命令
Lost Paradise
08-12 567
测试hadoop集群读写性能及计算性能的几个命令 环境说明 CDH6.3.2下面的hadoop3.0.0，找了半天找到了测试jar包位置。 然后在任意一台上执行。 代码 测试写性能 hadoop jar /opt/cloudera/parcels/CDH/jars/hadoop-mapreduce-client-jobclient-3.0.0-cdh6.3.2-tests.jar TestDFSIO -write -nrFiles 10 -fileSize 128MB 测试读性能 hadoop jar
Hadoop的基准测试
星空下的那个人影
05-04 598
我们搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。
HDFS读写测试
南风知我意
06-09 1687
2.先测试硬盘的读写，看下硬件瓶颈 1.fio命令，测试磁盘的读写性能 （1）顺序读测试 结果显示，磁盘的总体顺序读速度为360MiB/s。 结果显示，磁盘的总体顺序写速度为341MiB/s。 结果显示，磁盘的总体随机写速度为309MiB/s。 （4）混合随机读写： 结果显示，磁盘的总体混合随机读写，读速度为220MiB/s，写速度94.6MiB/s。测试网速：来到hadoop102的/opt/module目录，创建一个 0）写测试底层原理 2）注意：如果测试过程中，出现异常 （1）可以在yarn-sit
CDH6.2支持hadoop3.1.3吗
07-12
但是，您可以通过进行一些额外的配置和调整来实现使用Hadoop 3.1.3。 Cloudera提供了名为"CDH and Apache Hadoop"版本兼容性矩阵的文档，其中列出了不同版本的CDH与Apache Hadoop的兼容性。根据该兼容性矩阵，在CDH...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值