数周前,开始搭建和测试hadoop集群环境。虽然有相关文档,还是遇到了许多问题,也学到了很多。趁现在整理一二,仅供同道中人参考。
1.Input path does not exists ...
解决:如果路径确实没错,那可能是配置问题。可以将三份配置文件拷贝到工程的src文件夹下面:core-site.xml,hdfs-site.xml,log4j.properties.
2.如何验证是否安装了ssh服务
解决:方法一、在集群机器的终端上执行命令:netstat -a | more
若出现 tcp 0 0 *.ssh*:*LISTEN 信息,则说明已安装。
方法二、rpm -qa | grep openssh
若安装ssh服务成功,会显示openssh的服务器和客户端版本信息
3.安装mysql有时会遇到包冲突问题。此时应先删除冲突的包。步骤如下:
1)执行命令:rpm -qa | grep -i mysql 查看冲突包
2)执行命令:rpm -e --nodeps 冲突包名
4.如何判断hadoop集群安装成功
终端命令:hadoop dfsadmin report 若live datanode数目是0的话,就没有启动成功
5.hive 如何启动调试模式?
终端命令:sudo hive -hiveconf hive.root..logger=DEBUG,console