![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 50
Turn X7
不息!
展开
-
在Linux上将作业提交到Yarn上运行报错Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES的解决办法
Caused by: java.io.IOException: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out.转载 2024-01-25 08:59:24 · 219 阅读 · 0 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z转载 2024-01-24 14:29:42 · 1129 阅读 · 0 评论 -
Failed to locate the winutils binary in the hadoop binary path
原因:在windows环境下进行hadoop开发时也需要配置hadoop相关环境变量(与在linux下配置步骤相同),另外还需将缺少的hadoop.dll、winutils.exe两个文件拷贝到hadoop安装目录下对应的bin目录下。报错:windows环境下进行hadoop开发时报错 Failed to locate the winutils binary in the hadoop binary path。背景:hadoop服务运行在linux服务器上,windows环境下进行hadoop相关开发。转载 2024-01-11 19:00:00 · 393 阅读 · 0 评论 -
Hadoop 日常学习bug调试(二)
RPC的使用代码如下:LoginServiceInterface.javapackage rpc;public interface LoginServiceInterface{ public static final long versionID=1L; public String login(String userName,String pwd);}注意该接口versionID版本号必须设置,否则客户端调用时报错Exception in thread "m原创 2020-06-26 13:29:18 · 565 阅读 · 0 评论 -
Hadoop 日常学习bug调试(一)
(1)下载文件(方法一):代码如下:package hdfs;import org.apache.commons.io.IOUtils;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import java.i原创 2020-06-25 19:57:47 · 641 阅读 · 0 评论 -
Hadoop集群使用基本命令-MapReduce(一)
小测:[xuliang@Centos7 ~/hadoop/hadoop-2.10.0/share/hadoop]$ lltotal 12drwxr-xr-x. 6 xuliang xuliang 161 Oct 23 03:23 commondrwxr-xr-x. 7 xuliang xuliang 4096 Oct 23 03:23 hdfsdrwxr-xr-x. 3 xulian...原创 2020-04-05 18:40:43 · 765 阅读 · 0 评论 -
Hadoop基本命令操作-HDFS(一)
HDFS:(1)上传 hadoop fs -put hadoop-2.10.0.tar.gz hdfs://192.168.1.108:9000/(2)下载 hadoop fs -get hdfs://192.168.1.108:9000/hadoop-2.10.0.tar.gz原创 2020-04-05 18:25:51 · 201 阅读 · 0 评论 -
hadoop集群搭建的无密登陆配置
启动hadoop时,总是要输入密码,如下图:如何避免这种操作呢?首先得了解下SSH协议了,SSH协议支持两种登录方式,一种是通过密码验证登录,另一种就是通过秘钥验证登录,如果秘钥不配,默认就使用密码验证方式,所以要实现基于SSH协议的无密登录就得配置相关秘钥。具体秘钥验证过程如图我们要做的就是黑色箭头所指流转过程,生成本机秘钥对,并将公钥并放置到另一台主机上即可:1.生......原创 2020-01-12 23:05:16 · 993 阅读 · 0 评论 -
hadoop启动报错:Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/jpy/app/hadoop
启动过程中报错:Java HotSpot(TM) 64-Bit Server VM warning: You have loaded library /home/jpy/app/hadoopWARN util.NativeCodeLoader: Unable to load native-hadoop library for your plat原因:原因是从官方下载2.4.1版本的ha...原创 2020-01-11 13:35:53 · 3139 阅读 · 0 评论 -
linux环境下hadoop伪分布式搭建
先上传hadoop的安装包到服务器上去/home/hadoop/注意:hadoop2.x的配置文件$HADOOP_HOME/etc/hadoop伪分布式需要修改5个配置文件1 配置hadoop 第一个:hadoop-env.sh vim hadoop-env.sh #第27行 export JAVA_HOME=/usr/java/......原创 2020-01-11 12:45:57 · 410 阅读 · 0 评论