关于 Flink1.11.1 找不到 Hadoop Native库解决方法

最新推荐文章于 2022-04-13 15:27:00 发布
最新推荐文章于 2022-04-13 15:27:00 发布
阅读量522 收藏
点赞数
分类专栏： Flink
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/su_cicada/article/details/111228342
版权

可以试试在 flink 的 conf/flink-conf.yaml 配置文件中加入配置如下
其中的native库的具体路径换成你自己的。

yarn.application-master.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:$LD_LIBRARY_PATH
yarn.taskmanager.env.LD_LIBRARY_PATH: /opt/cloudera/parcels/CDH/lib/hadoop/lib/native:$LD_LIBRARY_PATH
小米的蝉
关注
专栏目录
关于Flink访问HDFS出现 Hadoop is not in the classpath/dependencies 的问题
weixin_45052199的博客
03-20 5400
Could not find a file system implementation for scheme 'hdfs'的问题
Hive on spark 配置
weixin_44701015的博客
06-19 2743
参考文档 https://docs.cloudera.com/documentation/enterprise/latest/topics/admin_hos_oview.html#hos_running http://bdlabs.edureka.co/static/help/topics/admin_hos_tuning.html https://docs.cloudera.com/documentation/enterprise/6/6.3/topics/admin_hos_tuning.html 1
CC00032.flink——|Hadoop&Flink.V16|——|Flink.v16|Flink Windows窗口机制|
yanqi_vip
04-13 132
一、Flink Window窗口机制：时间窗口TimeWindow：会话窗口(Session Window) ### --- Flink Window窗口机制：时间窗口TimeWindow：会话窗口(Session Window) ~~~ 时间窗口TimeWindow：会话窗口(Session Window) ### --- 会话窗口说明 ~~~ ...
CC00065.flink——|Hadoop&Flink.V04|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到文件|
yanqi_vip
04-13 316
一、输出表：输出到文件 ### --- 输出到文件： tEnv.connect(new FileSystem().path("E:\\data\\out.txt")) .withFormat(new Csv()) .withSchema(new Schema().field("name",DataTypes.STRING()).field("age",DataType...
CC00066.flink——|Hadoop&Flink.V05|——|Flink.v04|Flink SQL|Flink SQL输出表|输出到kafka|
yanqi_vip
04-13 353
一、FlinkSQL输出表：输出到Kafka ### --- 输出到kafka ~~~ # 往kafka上输出表 DataStreamSource<String> data = env.addSource(new SourceFunction<String> () { @Override public void ...
flink-1.11 native k8s 测试
yuchuanchen的专栏
09-11 1825
flink on k8s 目前有两种模式： Kubernetes：用户通过定义 flink 的 k8s 资源描述文件，由 kubectl 命令启动，最终以 standalone session cluster 或 standalone job cluster 模式运行。其中 standalone session cluster 运行多个作业；standalone job cluster 只运行一个作业。 Native Kubernetes：用户通过 flink run 命令直接提交作业，由 flink 客
CC00027.flink——|Hadoop&Flink.V11|——|Flink.v11|API详解|Flink Table API|SQL_API|
yanqi_vip
04-13 221
一、Flink Table API和SQL_API ### --- Flink Table API Flink SQL_API ~~~ Apache Flink提供了两种顶层的关系型API，分别为Table API和SQL， ~~~ Flink通过Table API&SQL实现了批流统一。 ~~~ 其中Table API是用于Scala和Java的语言...
spark on yarn 执行遇到的一个问题
weixin_41538547的博客
04-25 1034
最近在学习spark，遇到了一个问题，也花费了一天时间去解决，问题如下： Exception in thread “main” java.lang.RuntimeException: Error in configuring object at org.apache.hadoop.util.ReflectionUtils.setJobConf(ReflectionUtils.java:109) a...
cdh5.7.1默认安装无法装载native lib的问题解决(cdh5.5.x好像也有这个问题)
xiao_jun_0820的专栏
10-30 1865
用CDH5.7.1新装一个测试集群发现执行mapreduce时候无法装载native lib: WARN [main] org.apache.hadoop.util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applica
Flink继续填坑之hadoop又出问题了
i_monster的博客
04-18 3797
最近主机坏掉，尝试修改了一下配置，本来的服务器发生故障无法运行，想修改换到另一台电脑上，但是在修改的过程中执行hadoop语句产生了一个错误本来我以为这个是因为免密登陆产生的原因，于是就重新做了一遍免密登陆的操作，但是之后还是这个问题，至于问题的原因并不清楚，再慢慢查现在赶紧把方法记录下来，真的是很简单，就是把图上那个阴影部分代码复制运行一边就可以了，额，人生之路太过于艰辛，有一个大佬能传授传授学...
CDH集群安装&测试总结
cihongmo6452的博客
10-24 479
0.绪论 之前完全没有接触过大数据相关的东西，都是书上啊，媒体上各种吹嘘啊，我对大数据，集群啊，分布式计算等等概念真是高山仰止，充满了仰望之情，觉得这些东西是这样的： 当我搭建的过程中，发现这些东西是这样的： 对于初学者来说，我认为缺点如下： 1.需要控制，配置的东西太...
Hadoop之——Unable to load native-hadoop library for your platform...解决办法
weixin_38729343的博客
08-09 1076
一、出现的问题及原因： 配置完hadoop启动的时候出现如下警告信息： 无法加载native-hadoop库需要使用适用的builtin-java类 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applic...
flink读取不到文件_Flink开发遇到的问题汇总-
weixin_33344629的博客
01-17 3410
1，提交的离线任务完成之后，在一段时间后web端没有显示或者说自动消失： 原因分析：https://blog.csdn.net/u013076044/article/details/104740792是需要开启historyserver2，Flink读取hdfs的(hive分区)文件，目前已知有三种方式：通过循环union方式，本地可以执行，集群提交报错 通过官方API，可是只支持csv文件格式,...
linux环境变量设置方法总结（PATH／LD_LIBRARY_PATH）
tian8126359的专栏
04-11 3150
PATH:  可执行程序的查找路径 查看当前环境变量: echo $PATH 设置:  方法一：export PATH=PATH:/XXX 但是登出后就失效 方法二：修改~/.bashrc或~/.bash_profile或系统级别的/etc/profile         1. 在其中添加例如export PATH=/opt/ActivePython-2.7/bin:$PATH
hadoop Native本地库的一系列问题！！！
solike8的博客
03-12 3325
先说一下哈，我用的是ubuntu 18.04，不过不同系统都是大同小异，解决方法都是一样的，看下去就好了。 首先hadoop环境配置走一遍，这个不能错。 export JAVA_HOME=/opt/jdk export JRE_HOEM=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib expor...
Hadoop的本地库（Native Libraries）及相关问题总结
热门推荐
u013303361的专栏
04-23 1万+
主体转自：http://blog.sina.com.cn/s/blog_3d9e90ad0102wqrp.html （未亲测，我的getconf LONG_BIT返回32，且file libhadoop.so.1.0.0返回64，与之相反）Hadoop的本地库（Native Libraries）介绍Hadoop是使用Java语言开发的，但是有一些需求和操作并不适合使用java，所以就引入了本地库（...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值