.net core 调试 docker_Maven+IntelliJ IDEA调试Docker+Hadoop

weixin_39621794

于 2020-11-20 09:29:09 发布

阅读量128

点赞数

文章标签： .net core 调试 docker docker 单节点 cdh hadoop无法打开50070

接下来是Running Hadoop In Docker On Mac。

Running Hadoop In Docker On Macamitasviper.github.io

尝试连接hdfs报错

java.lang.IllegalArgumentException: Wrong FS://expected: file:///

https://blog.csdn.net/zh519080/article/details/76923137

拒绝连接的问题参见文章

https://blog.csdn.net/qq_24342739/article/details/89429786

根据这个我能够本地调试了（IntelliJ IDEA集成了maven，根据文章配置了本地环境），但是Mac上IntelliJ IDEA连接docker还是没成功，但是打包成jar到机器上单节点运行成功。

Hadoop本地调试+连接docker单节点blog.csdn.net

文件的一些命令

docker cp //本地和docker文件拷贝
hdfs dfs -put //hdfs宿主机拷贝到hdfs

hadoop宿主机中

yum -y install vim* //安装VIM
sbin/start-all.sh 
sbin/stop-all.sh

docker命令

//停止所有docker容器
docker stop $(docker ps -aq)
//删除所有docker容器
docker rm $(docker ps -aq)

根据基于Docker搭建Hadoop集群之升级版，我能在三个节点的hadoop集群执行MapReduce了。

Docker搭建Hadoop集群之升级版kiwenlau.com

但是我按照文章修改了5节点，start hdfs仍然只有2个slave

问题1：我进入不了http://192.168.59.1:50070/（我的是172.18.0.2）

问题2：我无法在MapReduce任务中连接上hdfs。本地连接和hdfs://localhost:9000都不行

调优的blog.csdn.net

关注