华为云集群部署踩坑指南。

玩数据就要天天和服务器各种集群打交道,对于Linux一窍不通的我真的,我太难了。之前的测试用的集群挂了之后要切换到其他集群上,公司买的华为云,然后就开始了新的踩坑之路。

  • 1 提申请

首先我们用任何环境都要去提申请了啦,提了申请才会分配资源,账号之类的。

  • 2 hadoop集群使用指南
    1)客户端IP 用户名 密码,在Xshell客户端里打开new一个session进行连接。
    使用远程连接工具(xshell)连接IP:XX.XX.XX.XX 端口:22
    用户名:XXXXXXXXX
    密码:XXXXXXXX
    连接好之后,在客户端执行命令,加载环境变量。直接执行以下两行命令:
    source /opt/hadoop_client/bigdata_env
    kinit -kt /DW_PRG/LF06/etc/user.keytab CORPLF06EMLTRS@HADOOP.COM
    2)web管理界面,华为云的web管理界面,根据链接进去,用户名密码登录,密码是不能被记住的,而且几分钟不用就自动断开连接了。
    3)Hadoop应用用户,用户名和客户端用户名一样的,这里找到keytab和krb5文件。在cd IP:DW_PRG/LF0X/etc 里面。

重点来了,比如我现在有一个Java项目,需要连接Hadoop集群,下文重点。

  1. 新建项目
    IDEA里面 new一个新的project,我这里new的是gradle项目.
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值