Hadoop Exception: java.lang.IllegalArgumentException: Does not contain a valid host:port authority:

最新推荐文章于 2024-05-18 14:12:41 发布
最新推荐文章于 2024-05-18 14:12:41 发布
阅读量7.1k 收藏
点赞数 1
分类专栏： hadoop yarn 文章标签： hadoop mapreduce exception yarn
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/danssion/article/details/35986817
版权

 hadoop 运行job时的提示错误 :

FATAL org.apache.hadoop.mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid host:port authority: hadoop_master:9001

at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:162)
at org.apache.hadoop.net.NetUtils.createSocketAddr(NetUtils.java:128)
at org.apache.hadoop.mapred.JobTracker.getAddress(JobTracker.java:2560)
at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2200)
at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2192)
at org.apache.hadoop.mapred.JobTracker.<init>(JobTracker.java:2186)

at org.apache.hadoop.mapred.JobTracker.startTracker(JobTracker.java:300)

...

...

主机使用的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符的主机名


网络给出的答案：可能是 core-site.xml 中的 fs.default.name 的value 值有问题
    也可能是mapred-site.xml中的mapred.job.tracker的 value 值有问题





danssion
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
IllegalArgumentException: Does not contain a valid host:port authority: master:8031
weixin_30545285的博客
08-02 644
java.lang.IllegalArgumentException: Does not contain a valid host:port authority: master:8031 (configuration property 'yarn.resourcemanager.resource-tracker.address') at org.apache.hadoop.net.NetUt...
【SpringBoot 远程提交MapReduce】 Error: java.lang.ClassNotFoundException: xxxxx包.xxxxx类
01-20
【SpringBoot】Error: java.lang.ClassNotFoundException: org.wltea.analyzer.core.IKSegmenter报错明细问题分析后记 报错明细 IDEA SpringBoot集成hadoop运行环境，本地启动项目，GET请求接口触发远程提交...
Does not contain a valid host:port authority: xx-_xx:9000
Be yourself.
03-07 2308
Questions 安装Hadoop时候，出现如下异常： WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problem connecting to server: xxx/xxx 或者出现 [1]Hadoop格式化HDFS报错java.net.UnknownHostException: centos64 [2]$ bin/h...
hadoop错误：Does not contain a valid host:port authority，勿踩坑
mono的博客
07-16 2314
主机的hostname不合法，应修改为不包含着‘.’ ‘/’ '_'等非法字符。 我当时主机命名为hadoop_1,导致出现问题，大家在命名主机的时候切记，避开上述非法字符。
java.lang.IllegalArgumentException: Last unit does not have enough valid bits
最新发布
snake_skin的博客
05-18 197
记一次创建JWT过程中，由于修改了密钥明文JWT_KEY，在进行Base64解码时报错java.lang.IllegalArgumentException: Last unit does not have enough valid bits。这里密钥明文JWT_KEY，需要传入一个合法的base64编码字符串，修改为合法的字符串即可。
启动hadoop报does not contain a valid host:port authority:node2_1:9000
ailv8451的博客
07-24 521
报错：启动hadoop报does not contain a valid host:port authority:node2_1:9000 原因：主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字符。 转载于:https://www.cnblogs.com/lojun/p/11236852.html...
java.lang.IllegalArgumentException: Does not contain a valid host :port authority
数据技术控
03-26 4749
跑MR报如下错误 java.lang.IllegalArgumentException: Does not contain a valid host :port authority 最后发现是hadoop nodemanager结点主机名不能带下划线_
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti
01-07
FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient 解决方法 ...
java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0
01-09
Exception in thread “main” java. lang . UnsatisfiedLinkError: org. apache . hadoop. io. nativeio. NativeIOSWindows . access0 (Ijava/ lang/String;I)Z  原因：在调用NativeIO中的...
解决启动Azkaban报错问题：java.lang.NoSuchMethodError: com.google.common.collect.ImmutableMap.toImmutableMap
10-15
在Java编程中，`NoSuchMethodError` 是一个常见的运行时异常，它表示在类加载时找到了该类，但在该类中却找不到特定方法的定义。这个问题通常发生在不同版本的库之间存在不兼容的情况，即在编译时使用的库版本包含了...
【解决方案】pyspark 初次连接mongo 时报错Class not found exception:com.mongodb.spark.sql.DefaultSource
01-20
部分报错如下： Traceback (most recent call last):  File /home/cisco/spark-mongo-... File /home/cisco/spark-2.2.0-bin-hadoop2.7/python/lib/pyspark.zip/pyspark/sql/readwriter.py, line 165, in load  
hadoop java.lang.UnsatisfiedLinkError
09-12
解决方案：Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeCo
【kettle集成cdh6.1】hadoop file output浏览目录报错：java.lang.NoClassDefFoundError: com/ctc/wstx/io/SystemId
01-07
【kettle集成cdh6.1】外部数据源读写hdfs若干...在此之前，我已经从CDH HDFS管理页面将所需要的core-site.xml、hdfs-site.xml等文件下载并放置至相应的插件位置，又从HADOOP在里将hadoop-client-3.0.0-cdh6.1.0.jar、h
Exception in thread main java.lang.NoClassDefFoundError错误解决方法
09-01
`Exception in thread "main" java.lang.NoClassDefFoundError` 是Java编程中常见的一个运行时异常，通常发生在尝试运行一个Java程序时，如果JVM找不到在类路径（ClassPath）中定义的主要类（主类，即包含`public ...
启动hadoop出现ssh: connect to host master port 22: No route to host
01-20
当启动hadoop或者使用ssh时出现： 输入ifconfig指令发现：自己之前配置的ip：192.168.79.103地址已经发生了变化 怎么解决办法呢？ 如下步骤： 重新修改静态ip 输入vi /etc/udev/rules.d/70-persistent-net.rules...
外网无法访问HDFS org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block
01-09
报错 org.apache.hadoop.hdfs.BlockMissingException: Could not obtain block 2、百度结果 参考 https://blog.csdn.net/xiaozhaoshigedasb/article/details/88999595  防火墙记得关掉； 查看DataNode是否启动；...
java.lang.IllegalArgumentException: Does not contain a valid host:port authority: ignorethis
Magician的博客
11-08 1015
执行Hive语句时突然出现这样的异常：Total MapReduce jobs = 1 Launching Job 1 out of 1 Number of reduce tasks not specified. Estimated from input data size: 1 In order to change the average load for a reducer (in bytes)
Does not contain a valid host:port authority: file:///
热门推荐
Freewind的技术专栏
10-21 1万+
启动hadoop的时候报错：
hadoop错误：port authority及namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address
Eddie-Wang的博客
06-13 1098
记录相关错误： 1.Does not contain a valid host:port authority 2.namenode address dfs.namenode.servicerpc-address or dfs.namenode.rpc-address is not configured 经调查结果是由于主机的hostname不合法，修改为不包含着‘.’ '/' '_'等非法字...
ORC split generation failed with exception: java.lang.OutOfMemoryError: GC overhead limit exceeded
11-25
ORC文件格式是一种高效的列式存储格式，它可以在Hadoop上进行高效的数据处理。当使用ORC文件时，有时会遇到“ORC split generation failed with exception: java.lang.OutOfMemoryError: GC overhead limit exceeded”这样的错误。这个错误通常是由于JVM的垃圾回收器无法及时回收内存导致的。解决这个问题的方法有以下几种： 1.增加JVM的内存限制。可以通过设置JVM参数-Xmx和-Xms来增加JVM的内存限制。例如，将JVM的最大内存限制设置为8GB，最小内存限制设置为4GB，可以使用以下命令： ```shell java -Xmx8g -Xms4g your_program ``` 2.调整ORC文件的分片大小。可以通过调整ORC文件的分片大小来减少内存使用量。可以通过设置mapreduce.input.fileinputformat.split.maxsize参数来调整分片大小。例如，将分片大小设置为128MB，可以使用以下命令： ```shell hadoop jar your_program.jar -Dmapreduce.input.fileinputformat.split.maxsize=134217728 input_path output_path ``` 3.升级ORC文件的版本。可以尝试升级ORC文件的版本，因为新版本的ORC文件可能会更好地处理内存问题。可以使用以下代码来获取ORC文件的版本： ```java public OrcFile.WriterVersion getWriterVersion() { OrcProto.PostScript ps = fileTail.getPostscript(); return (ps.hasWriterVersion() ? OrcFile.WriterVersion.from(ps.getWriterVersion()) : OrcFile.WriterVersion.ORIGINAL); } ```
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值