玩数据就要天天和服务器各种集群打交道,对于Linux一窍不通的我真的,我太难了。之前的测试用的集群挂了之后要切换到其他集群上,公司买的华为云,然后就开始了新的踩坑之路。
- 1 提申请
首先我们用任何环境都要去提申请了啦,提了申请才会分配资源,账号之类的。
- 2 hadoop集群使用指南
1)客户端IP 用户名 密码,在Xshell客户端里打开new一个session进行连接。
使用远程连接工具(xshell)连接IP:XX.XX.XX.XX 端口:22
用户名:XXXXXXXXX
密码:XXXXXXXX
连接好之后,在客户端执行命令,加载环境变量。直接执行以下两行命令:
source /opt/hadoop_client/bigdata_env
kinit -kt /DW_PRG/LF06/etc/user.keytab CORPLF06EMLTRS@HADOOP.COM
2)web管理界面,华为云的web管理界面,根据链接进去,用户名密码登录,密码是不能被记住的,而且几分钟不用就自动断开连接了。
3)Hadoop应用用户,用户名和客户端用户名一样的,这里找到keytab和krb5文件。在cd IP:DW_PRG/LF0X/etc 里面。
重点来了,比如我现在有一个Java项目,需要连接Hadoop集群,下文重点。
- 新建项目
IDEA里面 new一个新的project,我这里new的是gradle项目.