最近在做大数据结课项目的时候发现安装Hive的slave2节点上,当启动hive做查询分析的时候老是报内存溢出,各种解决方法都试过啦,依然还是一样,于是我一咬牙一跺脚,在买一台腾讯云服务器。
因为腾讯云最近618搞活动,新用户,4M带宽,2核2G,52元/年一个月非常划算,https://curl.qcloud.com/fx2vSYE8,点击这个链接即可购买。
将新服务器命名为TX,并且配置好域名,总共4台都要。还有免密登录。安装jdk8,并配置好环境变量,将slave2上的Hadoop通过scp命令复制到TX
scp -r hadoop-3.1.4/ TX:/root/awz/soft/
可能要多等一下,也可以自己重新配置,如果是scp过来的记得要将Hadoop目录下的hadoopDatas删除,然后在自己重新创建这个目录,
最后在TX上hadoop目录下输入
sbin/hadoop-daemon.sh start datanode
sbin/yarn-daemon.sh start nodemanager
在master上刷新
hdfs dfsadmin -refreshNodes
在web ui上查看
成功