hadoop
one-皮卡丘
我要为国家做贡献!
展开
-
MRjob完成后hadoop端口号xx:10020 failed on connection exception: java.net.ConnectException: 拒绝连接;
原因在于:通过start-all.sh启动hadoop各项节点后,historyserver并没有启动,需要手动启动,因此可以通过以下命令来手动启动historyserver。启动命令:mr-jobhistory-daemon.sh start historyserverhistoryserver就启动了,jps可以看到。什么是jobhistory server:Hadoop自带了一个历史...原创 2019-12-17 13:11:02 · 614 阅读 · 0 评论 -
Could not transfer artifact org.apache.hadoop:hadoop-client:jar:2.7.2 from/to central (https://
maven引入hadoop相关jar包依赖报错:报错说让我去删除刚未导入成功的jar包,否则就不会给我重新下载更新。然后我带这个问题去搜索了一下发现,大多数说是要去maven的本地仓库里去删除报错的文件,然后更新一下项目就好了。但是我去了本地仓库(可从设置里的maven查看本地路径)里面并没有发现hadoop相关文件夹。然后我就把它们全删了重新下载,更新项目,还超级卡顿,然并卵。。。。挣扎了...原创 2019-12-04 12:01:01 · 5392 阅读 · 0 评论 -
hadoop进程启动不全,有dataname无namenode等
首先查看日志,用cat查看logs下的.log发现原因:hadoop使用start-dfs.cm启动时,报如下错误:java.io.IOException: Failed on local exception: java.net.SocketException: Unresolved address; Host Details : local host is: “master”; destina...原创 2019-12-02 12:53:07 · 789 阅读 · 0 评论 -
Failed to restart ssh.service: Unit not found.
在装完hadoop及jdk之后,在执行start-dfs.sh的时候出现root@localhost’s password:localhost:permission denied,please try again。这里用的是centos7,命令与centos有变化解决方案:1.修改root密码:sudo passwd root2.辑配置文件,允许以 root 用户通过 ssh 登录:su...原创 2019-12-02 11:39:37 · 2933 阅读 · 0 评论