![](https://img-blog.csdnimg.cn/20201014180756922.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 62
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
Flink standalone执行作业任务报错
执行jar命令如下:[root@bigdata101 flink-1.12.0]# bin/flink run -c app.FlinkCDC /data/project/flinkCDC/onedata-flink-1.0-SNAPSHOT-jar-with-dependencies.jar异常:------------------------------------------------------------ The program finished with the following原创 2022-03-08 18:29:10 · 726 阅读 · 3 评论 -
解决org.apache.hadoop.io.nativeio.nativeio$windows.createdirectorywithmode0(ljava/lang/string;i)v
运行wordcount代码异常原因:Windows本地hadoop环境是2.6.4,而我的pom配置的依赖是2.7.3解决办法:将pom的配置依赖jar版本改成2.6.4原创 2019-02-15 12:00:59 · 3377 阅读 · 2 评论 -
解决org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
Windows的唯一方法用于检查当前进程的请求,在给定的路径的访问权限,所以我们先给以能进行访问,我们自己先修改源代码,return true 时允许访问。我们下载对应hadoop源代码,hadoop-2.7.3-src.tar.gz解压,hadoop-2.7.3-src\hadoop-common-project\hadoop-common\src\main\java\org\apache\h...原创 2019-01-30 20:31:48 · 242 阅读 · 0 评论 -
Hadoop2.7.3全分布式集群搭建
Hadoop的全分布模式最少需要三台机器:一台主节点,两台从节点。全分布模式主要用于生产环境。本节将来介绍一下Hadoop2.x全分布模式的环境搭建过程。实验环境:VMware Workstation 14 Pro:https://pan.baidu.com/s/13xFtXXaH_HpbwpOrki78bwCentOS 7 64位:https://pan.baidu.com/s/11...原创 2018-10-08 22:20:52 · 798 阅读 · 0 评论 -
Hadoop2.6.1全分布式集群搭建
一:master配置1.新建tmp目录2.master,slave配置Master:Slave:3.core-site.xml配置4.mapred-site.xml配置5.hdfs-site.xml配置6.hadoop-env.sh配置7.本地网络配置:Vim /etc/hosts配置...原创 2018-04-21 14:51:08 · 646 阅读 · 0 评论 -
启动hadoop集群报错The authenticity of host 'master (172.16.22.41)' can't be established. ECDSA key fingerp
解决办法:找到/etv/ssh/ssh_config在最后添加:StrictHostKeyChecking noUserKnownHostsFile /dev/null或者:ssh-o StrictHostKeyChecking=no192.168.0.xxx内网中非常信任的服务器之间的ssh连接...原创 2019-03-31 14:38:57 · 3445 阅读 · 1 评论 -
启动hadoop,只有两个从节点没有DataNode的异常
解决办法:在从节点的logs中查看日志如下:发现问题原因是主节点的VERSIONID和从节点不一样导致的解决办法:1.有重要数据情况下:把主节点的VERSIONID复制到从节点中2.没有重要数据情况下:把主节点的hdfs文件夹都删掉...原创 2019-03-31 18:04:03 · 2460 阅读 · 0 评论 -
window本地启动hadoop集群datanode节点报错:java.io.IOException: All specified directories are failed to load
错误原因:Hadoop启动后,在使用格式化namenode,会导致datanode和namenode的clusterID不一致解决办法:修改datanode下的clusterID和namenode的clusterID一致:1.先找到/etc/hadoop/hdfs-site.xml2.里面有datanode的路径,在那个路径下找:/current/VERSION文件,即可修改c...原创 2019-04-05 11:42:50 · 272 阅读 · 0 评论