【坑死个人的网上复制黏贴的解决方法】hadoop native本地依赖库问题解决!

rt,网上的大部分的分享的解决方法的经验确实能让很多人搞定,但总是有些人复制黏贴别人的解决方法,也不知道自己是否复现了问题以及解决,反正我能看见的全都是相关问题关键词完全一样,百度出来的。大家都可以试试,有没有这种体会,尤其有在CSDN上的。

而在这个刨坑了hadoop native本地安装库上,我的天,要么去在log4j日志提醒当中设置下个显示权限,不让看,要么就是去编译下库,我只是个初学者啊,要不要这么不友好。

我们在学习大数据路上,真的不仅仅只是自身知识面的受限,还有更多的是网上的其他的错误的误导信息,挫败了你一次次调试代码的心,真心没有用系列!

以上纯属自己的废话,看官们且看且退。

以下进入正题。

个人配置信息:

hadoop版本:hadoop-2.6.0-cdh5.7.0.tar
java版本:"1.8.0_151"

报错提示信息,相比大家肯定搜索到了就是下面这个问题为关键句搜索!

WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

言简意赅点,就是本地库没有安装好,或者说就是没有!

没错,当你去看见了诸如一些人说的,使用llib命令去检查这个hadoop的版本32位不能运行64位的库时候,你会立马去这个提示的${HADOOP_HOME}/lib/native 查看到底怎么回事。

额,你看见的是,这个命令根本就没有找到什么啊!

我的天!就是没有,你让我去找用什么命令找啥?找啥,找啥!

额,不好意思,又是控制不住这个脾气了,见谅!

简单点,怎么操作步骤以下!

第一步:开启调试模式

在linux的命令行中输入

export HADOOP_ROOT_LOGGER=DEBUG,console

开启Hadoop启动调试模式:也即是下面这个界面的样子(防止有些同学以为要去哪里写入什么,就完蛋了!)

[root@spark1 /]# export HADOOP_ROOT_LOGGER=DEBUG,console

注意之后肯定是要将这个错误调试信息进行降级了,不然一大块一大块的,肯定难看又没用!关闭则是就是将命令改成:

export HADOOP_ROOT_LOGGER=INFO,console

第二步:启动Hadoop的dfs,查看到底是哪里出错了!

注意在这里,大家有的说要修改 hadoop-env.sh 文件(路径就是在${HADOOP_HOME}/etc/hadoop/ 下),导入什么一大堆反正我不太想看懂的什么路径参数,额没有必要!

我的hadoop-env.sh文件内容如下:

# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

# Set Hadoop-specific environment
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值