hadoop在opensuse上执行以下命令报错 bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

最新推荐文章于 2022-08-16 14:00:47 发布
最新推荐文章于 2022-08-16 14:00:47 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： hadoop 文章标签： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/nefax/article/details/8992859
版权
在OpenSUSE系统上运行Hadoop的grep示例时遇到错误，表现为'java.net.UnknownHostException: linux-7e8g.site: linux-7e8g.site'。解决方法是在/etc/hosts文件中添加主机名到localhost的映射，例如：127.0.0.1 linux-7e8g.site。完成此操作后，错误信息消失，Hadoop命令可以正常执行。
摘要由CSDN通过智能技术生成
hadoop在opensuse上执行以下命令报错
bin/hadoop jar hadoop-examples-*.jar grep input output 'dfs[a-z.]+'

解决方法：在/etc/hosts
127.0.0.1       localhost下一行
添加：
127.0.0.1       linux-7e8g.site

13/05/28 14:29:28 INFO mapred.JobClient: Cleaning up the staging area file:/tmp/hadoop-root/mapred/staging/root239779977/.staging/job_local239779977_0001
13/05/28 14:29:28 ERROR security.UserGroupInformation: PriviledgedActionException as:root cause:java.net.UnknownHostException: linux-7e8g.site: linux-7e8g.site
java.net.UnknownHostException: linux-7e8g.site: linux-7e8g.site
     at java.net.InetAddress.getLocalHost(InetAddress.java:1426)
     at
最低0.47元/天 解锁文章
helloMkzhang
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop 运行 share/hadoop/mapreduce/hadoop-mapreduce-examples-xxx.jar 报错
Jodness' Blogs
03-16 1万+
今天在运行以下命令 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar grep input output 'dfs[a-z.]+' 因为之前我改了主机名为master1 报错 19/03/16 16:12:59 INFO Configuration.deprecation: session.id ...
大数据Hadoop学习笔记（二）
你说_的博客
10-12 423
Single Node Setup 官网地址 1. 本地模式 2.伪分布式模式 ************************* 本地模式 **************************** . grep input output ‘dfs[a-z.]+’ 运行mapreduce的例子，input是当前目录下的文件夹；output是运行输出结果储存的地方，并且在当前目录下没有...
./bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep input output 'dfs[a-z.]...
weixin_34302561的博客
10-04 2887
需要删除可能存在的output目录 删除的命令是：bin/hdfs dfs -rm -r /user/luchi/output 转载于:https://www.cnblogs.com/wxd136/p/9743729.html
大数据学习笔记(二)-官方案例-Grep/WordCount
wavelee的博客
12-31 296
1、官方Grep案例 1.首先，在hadoop-2.7.2文件夹下创建一个input目录 然后，将etc/hadoop/*.xml复制到input目录中 cp etc/hadoop/*.xml input/ 2.然后启动hadoop中的examples包中的grep案例，知道input路径和output路径, 注意：此时若output文件夹存在，则会报output已存在错误 hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.
Hadoop 集群的三种方式
weixin_30408309的博客
04-13 531
1,Local(Standalone) Mode 单机模式 $ mkdir input $ cp etc/hadoop/*.xml input $ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar grep input output 'dfs[a-z.]+' $ cat o...
hadoop-mapreduce-examples-2.6.5.jar
10-23
hadoop-mapreduce-examples-2.6.5.jar 官方案例源码
spark-3.4.1-bin-hadoop3.tgz - Spark 3.4.1 安装包(内置了Hadoop 3)
最新发布
07-19
文件名: spark-3.4.1-bin-hadoop3.tgz 这是 Apache Spark 3.4.1 版本的二进制文件，专为与 Hadoop 3 配合使用而设计。Spark 是一种快速、通用的集群计算系统，用于大规模数据处理。这个文件包含了所有必要的组件，...
hadoop-mapreduce-examples-2.7.1.jar
06-03
hadoop-mapreduce-examples-2.7.1.jar
flink-shaded-hadoop-3-uber-3.1.1.7.1.1.0-565-9.0.jar.tar.gz
11-14
然而，不同版本的Hadoop可能包含与Flink不兼容的API或类库，因此在使用Hadoop 3.x时，直接将Flink的jar包与Hadoop的jar包一起加载可能会导致冲突。为解决这个问题，Flink社区提供了"flink-shaded-hadoop-3-uber-3.1....
hudi-hadoop-mr-bundle-0.11.0.jar
06-28
hudi-hadoop-mr-bundle-0.11.0.jar 配合文档
hadoop
z19799100的博客
04-01 495
1）hadoop介绍 Hadoop是一个生态圈，由Apache基金会提供，是一个分布式处理系统，可以解决海量数据存储和计算分析问题 2）Hadoop优势 1）高可靠性：数据非常重要，数据在存储或者计算过程中出现问题之后可以还原再次处理。 2）高扩展性：节点的上线或者下线不影响集群的正常使用 3）高效性：处理数据的速度很快 4）高容错性：数据存到Hadoop中后有备份，多个节点发生故障容...
HADOOP grep案例
m0_67391870的博客
08-16 509
share/hadoop/mapreduce-examles-2.7.2.jar 这是hadoop官网提供的案例目录。output 输出目录 （千万不要自己创建、hadoop源码中会判断这个文件是否存在、存在的话会报异常）grep 启动grep案例，官方提供的案例非常多，如wordcount模型等。故hadoop grep 模式的作用为：提供一些文本文件,(2) 将etc目录下所有的xml复制到input目录下。运行命令解释：bin/hadoop hadoop启动命令。（3）运行hadoop命令。...
hadoop jar包_Java大数据开发(三)Hadoop(3)Grep案例教你学习官网文档
weixin_39761558的博客
11-30 171
在我们实际的开发中，或多或少的会使用到新技术，那应该怎么办呢，百度吗，寻找学习视频吗，可以，这样也是可以找到资料的，并且能很快上手，但是如果这个技术是刚出来的新技术呢？是不是不知道该怎么办了，别急，一个新技术的产生，肯定会有他的学习文档，试想下，假如你写了一个框架，但是没有文档，那别人怎么能看得懂呢，所以，通过官方提供的学习文档学习一门新的技术，才是一个完美的学习方式，我们现在就来看一下...
Hadoop集群配置（最全面总结）
weixin_30748995的博客
02-06 5059
Hadoop集群配置（最全面总结）huangguisu 通常，集群里的一台机器被指定为NameNode，另一台不同的机器被指定为JobTracker。这些机器是masters。余下的机器即作为DataNode也作为TaskTracker。这些机器是slaves\ 官方地址：(http://hadoop.apache.org/common/docs/r0.19.2/c...
在Eclipse中运行第一个MapReduce程序
豹先生
12-12 1921
这是Hadoop学习全程记录第2篇，在这篇里我将介绍一下如何在Eclipse下写第一个MapReduce程序。  新说明一下我的开发环境：  操作系统：在windows下使用wubi安装了ubuntu 10.10  hadoop版本：hadoop-0.20.2.tar.gz  Eclipse版本：eclipse-jee-helios-SR1-linux-gtk.tar.gz
二、基本算法之DFS、BFS和A*
moodytong的专栏
06-11 1万+
图中节点的遍历和搜索是老生常谈的话题，这里借由python的networkx库，复习一下之前的BFS和DFS，并对A*做一些理解。  1.BFS 广度优先搜索          其基本思想是优先从当前节点的邻居节点开始搜索，如果搜索不到，再搜索邻居的邻居。其在算法设计的时候，主要考虑节点的标记和邻居的保存          利用全局变量time进行计时，在pre列表中保存每个节点的父节点。
Hadoop学习笔记（二）设置单节点集群
热门推荐
无知人生，记录点滴
10-07 2万+
本文描述如何设置一个单一节点的 Hadoop 安装，以便您可以快速执行简单的操作，使用 Hadoop MapReduce 和 Hadoop 分布式文件系统 (HDFS)。
执行 bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input出错
simply
05-26 1万+
[root@node1 hadoop-2.7.3]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /user/input /user/output 19/05/26 09:44:33 INFO client.RMProxy: Connecting to ResourceMan...
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar grep ./input ./output 'dfs[a-z.]+'解释一下
04-29
这是一个在Hadoop上运行的示例MapReduce作业，它的作用是在输入文件集中查找以“dfs”开头并以小写字母或句点结尾的单词，并将它们的出现次数输出到输出目录中。 具体解释如下： - `./bin/hadoop`: 启动Hadoop集群的命令。 - `jar`: 这是Java的一个命令，表示要运行一个jar包。 - `./share/hadoop/mapreduce/hadoop-mapreduce-examples-*.jar`: 这是要运行的MapReduce作业的jar包路径，它包含了Hadoop集群上运行MapReduce作业所需的所有类和依赖项。 - `grep`: 这是要运行的MapReduce作业的类名。 - `./input`: 输入文件所在的目录。 - `./output`: 输出目录，MapReduce作业输出的结果将写入该目录。 - `'dfs[a-z.] '`: 这是一个正则表达式，用于匹配以“dfs”开头并以小写字母或句点结尾的单词。注意，正则表达式被引号括起来，以防止Shell解释它们。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值