【Flink】UnsatisfieldlinkError : org.apache.hadoop.util.NativeCrc32

最新推荐文章于 2023-08-10 11:09:16 发布
最新推荐文章于 2023-08-10 11:09:16 发布
阅读量967 收藏 2
点赞数
分类专栏： 大数据-flink
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/106215710
版权
大数据-flink 专栏收录该内容
840 篇文章 855 订阅 ¥99.90 ¥299.90
订阅专栏
在使用Idea或Eclipse调试Hadoop HDFS时，遇到UnsatisfiedLinkError关于NativeCrc32的错误。通过网络资源了解到需要正确版本的winutils文件，并替换相应目录下的文件。在Google找到winutils的GitHub源，选择对应版本下载，替换后并设置Hadoop环境变量，参考了相关博客文章解决了问题。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.背景

在idea和eclipse中调试hadoop中hdfs文件，之前好好的，结果突然就出现java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V

的报错，查询网上的各种资料之后都说：“需要选择正确的版本并且在 Hadoop/bin和 C：\windows\system32 上添加/替换 ‘hadoop.dll’和‘winutils.exe’”，结果去百度上找这两文件，结果全部都是C-S-D-*中的付费下载，我也是郁闷了；

后来 fan qiang 在google上找到了下载的路径：https://github.com/steveloughran/winutils

选择相应的版本，然后 添加/替换 本地的那两个文件即可 （记得添加hadoop环境变量）

参考：

了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration
一杯咖啡半杯糖的博客
02-19 746
【Flink】ClassNotFoundException: org.apache.hadoop.conf.Configuration或者ClassNotFoundException: org.apache.hive.common.util.HiveVersionInfo 都可解决
【Flink】Flink yarn 下报错ClassNotFoundException: org.apache.hadoop.yarn.api.ApplicationConstants$Environ
九师兄
08-29 1440
flink启动日志报错如下 flink 在yarn上的日志报错如下 最后结局原因如下参考建议确保 Flink 版本与 YARN 版本兼容。不同的 Flink 版本可能需要不同版本的 YARN。请确保你使用的 Flink 版本与你的 YARN 版本兼容。检查环境和类路径设置。确保在运行 Flink 任务之前，所有必需的依赖项包括 YARN 和 Hadoop 相关的类库都正确地配置在类路径中。检查 Flink 的 flink-yarn_*.jar 文件是否正确下载并部署。这个文件包含了 Flink 与 YARN
hadoop winutils合集,org.apache.hadoop.util.NativeCrc32
04-12
该wintuils合集包含hadoop2.6.0、2.6.3、2.6.4、2.7.1、2.8.0、2.8.3、3.0.0版本，请需要的小伙伴们前来下载，用以解决本地测试报错问题。 (将bin文件放到/hadoop/下，hadoop.dll和wintuils.exe放到/windows/system32/下)
使用第三方库出现找不到so库UnsatisfiedLinkError错误的原因以及解决方案
Raleigh
04-13 3632
前言 在开发项目的时候我们免不了使用一些第三方的库来进行快速开发，有些第三方库只是简单的一个jar包，但是有些使用了jni开发，因此会包含so库文件，这个时候如果不消息我们就会遇到一个错误:java.lang.UnsatisfiedLinkError； 最近经常遇到有开发者在问使用环信sdk的时候出现这个错误；这里分享下问题原因以及解决方案； 相关信息 这里需要先解释一下相
Android集成银联支付，提示java.lang.UnsatisfieldLinkError错误
chuyouyinghe的专栏
04-11 3404
尽管解决方法很简单，但还是记录一下吧。最近做银联支付（Android），官方给的demo是eclipse的。按照官方（https://open.unionpay.com/ajweb/product）给的步骤，在Android studio中一步一步集成。运行出错，提示java.lang.UnsatisfieldLinkError: Couldn't load entryexpro from loa...
win7上代码连接hadoop出现错误 ：org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIIL...
weixin_33856370的博客
11-16 706
　　 在idea和eclipse中调试hadoop中hdfs文件，之前好好的，结果突然就出现java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjava/lang/String;JZ)V 的报错，查询网上的各种资料之后都说：“...
UnsatisfiedLinkError探案录
Catyee's tech blogs
02-12 1075
程序员解决程序错误就和侦探探案一样，从细微处寻找蛛丝马迹，本文记录了一次`UnsatisfiedLinkError`报错探案全过程，侦探的比喻只为搏君一笑，重要的还是其中的思路和方法吧，希望有一点点抛砖引玉的作用。
Caused by: java.io.NotSerializableException: org.apache.parquet.schema.MessageType
qq_31866793的博客
05-21 1020
目前没解决，本地代码可以运行，打包集群运行也没问题，可能是zeppelin哪里的依赖包冲突。 scala任务代码 Head default %flink.conf flink.execution.packages org.apache.flink:flink-connector-kafka_2.11:1.11.2,com.alibaba:fastjson:1.2.60,org.apache.flink:flink-parquet_2.11:1.1...
Hadoop：HDFS – java.lang.NoSuchMethodError：org.apache.hadoop.fs.FSOutputSummer。（Ljava / util / zip / ...
最佳 Java 编程
05-26 446
我想编写一个小程序来检查一台机器是否可以与在另一台机器上运行的HDFS服务器进行通信，并修改Hadoop Wiki中的一些代码 ，如下所示： package org.playground; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataInputStream; import ...
UnsatisfiedLinkError。
热门推荐
孤芳不自赏
08-06 3万+
这个异常倒不是很常见，但是出错的话，通常是在JVM启动的时候如果一不小心将在JVM中的某个lib删除了，可能就会报这个错误了，代码如下： public native void nativeMethod(); static { System.loadLibrary("NoLib"); } public static void main(String[] args) ...
classlink error java,java.lang.UnsatisfieldlinkError：找不到本地方法
weixin_39629129的博客
03-12 212
我正在尝试使用jni构建一个演示应用程序(我对它很陌生)。我已经谷歌和关于这个问题，但没有任何帮助。java.lang.UnsatisfieldlinkError：找不到本地方法下面是我使用的代码：include $(CLEAR_VARS)LOCAL_MODULE := exampleLOCAL_SRC_FILES := com_example_example_Operacoes.cinclude...
x64系统用eclipse编写JNI程序出现UnsatisfiledLinkError异常
川在路上
06-18 927
按照网上查到的JNI编写步骤写helloworld，生成了头文件，dll，java调用dll的时候出现异常： Thread[main](Suspended(exception UnsatisfiledLinkError))   ClassLoader.loadLibrary(Class, String, boolean) line: not available   Runtime.loa
Java UnsatisfiedLinkError问题
请叫我大师兄
01-05 5534
在java程序中有个地方会调用native方法，这个native方法是自定义的，最后就是个.so文件，给放到服务器上，然后，Java调用他，jvm启动的时候，会load一下这个自定义的lib，然后就可以调用这个native方法了，然而，对原来的方法进行重构之后，发现报了这个UnsatisfiedLinkError问题，经调查和实测，有如下结果。解决：将调用native方法的Java类的package，改成和so里文件头命名空间一样，也就是还改成重构之前的package，然后就能正常link了。
java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray
kw-home
02-10 4105
在eclipse上运行hadoop报错:Exceptionin thread "main" java.lang.UnsatisfiedLinkError:org.apache.hadoop.util.NativeCrc32.nativeComputeChunkedSumsByteArray(II[BI[BIILjav，这个问题折腾了我很久，后来找到方法解决。 描述一下:电脑是win7的64位
android报java.lang.UnsatisfiedLinkError错误大全
最新发布
zhizhuodewo6的博客
08-10 2171
检查是否项目开启了混淆，导致native方法及所在类被混淆，而找不到对应的方法。
UnsatisfiedLinkError错误解决
ch1406285246的博客
03-04 1231
java.lang.UnsatisfiedLinkError: Couldn't load vi_voslib from loader dalvik.system.PathClassLoader
org.apache.flink.util.FlinkException: No cluster id was specified. Please specify a cluster to which you would like to connect. at org.apache.flink.client.cli.CliFrontend.runClusterAction(CliFrontend.java:994) at org.apache.flink.client.cli.CliFrontend.list(CliFrontend.java:427) at org.apache.flink.client.cli.CliFrontend.parseAndRun(CliFrontend.java:1060) at org.apache.flink.client.cli.CliFrontend.lambda$main$10(CliFrontend.java:1132) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:422) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1875) at org.apache.flink.runtime.security.contexts.HadoopSecurityContext.runSecured(HadoopSecurityContext.java:41) at org.apache.flink.client.cli.CliFrontend.main(CliFrontend.java:1132)
06-03
这个错误提示表明您在运行Flink命令时没有指定集群ID。您需要将Flink命令中的`-cid`或`--clusterid`选项设置为您要连接的集群的ID。例如： ``` ./bin/flink list -cid myCluster ``` 其中，`myCluster`是您要连接的集群的ID。请确保您输入的集群ID与您要连接的集群的ID相匹配。如果您不知道要连接的集群的ID，请联系您的系统管理员。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值