![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
PursueDreamZ
这个作者很懒,什么都没留下…
展开
-
hadoop job 日志的查看
hadoop执行完任务一般有几个地方可以查看:1、通过本地日志目录查看对应container日志文件,默认在hadoop的安装目录下的/logs/userlogs/:直接用查看文件命该地方的应用运行日志不一定最全,因为任务运行日志由每一个NM产生在本地,然后再给聚合到文件系统中(配置聚合日志功能)。2、使用命令查看:[hadoop@hadoop01 ~]$ yarn logs -ap...原创 2019-09-14 00:19:16 · 1772 阅读 · 0 评论 -
hadoop连接hdfs报错Call From master/172.27.0.5 to master:8020 failed on connection exception: 问题的解决
今天启动完成之后hadoop,然后连接hdfs发现死活连接不上,然后网上看了一些信息,发现好多是讲防火墙关闭,网络端口修改成可以远程连接。然后试了之后发现都不行,然后检查了自己的hosts文件的设置和环境变量发现也没有问题。 最后把core-site.xml里设置路径的tmp文件夹、dfs文件夹、data文件夹、name文件夹、hadoop根目录logs文件夹等清空...原创 2019-10-03 22:22:32 · 4742 阅读 · 0 评论