含泪使用Ubuntu搭建hadoop分布式集群笔记

本文记录了在Ubuntu上搭建Hadoop分布式集群的详细步骤,包括安装虚拟机、换源、配置静态IP、免密登录、集群启动等关键环节,解决过程中遇到的问题和解决方案。
摘要由CSDN通过智能技术生成

hadoop之前安装的一直是伪分布式,总觉得不够装逼。所以打算装一下分布式集群。开个玩笑。
做一下笔记记录我安装的过程。
因为分布式集群必须要有三个节点。
我用的是Ubuntu系统,之前从阿里云白嫖活动中嫖了一台服务器,再加上本机,我打算再装一台虚拟机就可以了。后来发现服务器太麻烦了,我开了两台虚拟机,一台Ubutnu 18.04,一台Ubuntu 20.04,我自己装的系统是19.10,多体验一下,我觉得用起来都差不多

安装虚拟机

之前只在windows上装过VMware,不知道如何在Ubuntu中安装
安装包去官网下载即可,密钥可以输入:

UY758-0RXEQ-M81WP-8ZM7Z-Y3HDA

现在是2020-5-29,密钥还是有效的,不知道什么时候会失效。
VMware安装好之后,打开虚拟机,却出现:

could not open /dev/vmmon:?????? please make sure that the kernel moduel vmmon is load

搜到的大部分教程都是输入:

sudo /etc/init.d/vmware start

但是这样并不行。后来发现是配置问题:
secure boot,导致未签名的内核扩展(即vmware的vmmon模块)不能被加载。vmmon.ko和vmnet.ko都是未签名的,因此就发生的上图所示的错误。
解决方法
进入boot,关闭 secure boot 即可。
现在进入打开虚拟机就没有问题了。

进入虚拟后,我安装的是Ubuntu版本,首先设置root密码,输入:

sudo passwd root

https://blog.csdn.net/weixin_45468845/article/details/105185198

第二步:换源

18.04换源方法
https://blog.csdn.net/zhangjiahao14/article/details/80554616?ops_request_misc=&request_id=&biz_id=102&utm_term=ubuntu18.04%E6%8D%A2%E6%BA%90&utm_medium=distribute.pc_search_result.none-task-blog-2allsobaiduweb~default-0-80554616
20.04换源方法
这个有直接从图形界面换源的方法,也有从终端换源的方法,我觉得从图形界面换源还是比较方便的。
https://blog.csdn.net/YooLcx/article/details/104527734

安装相关命令包

接下来安装vim
我的Ubuntu装好后,并
上面换源的教程中,没有换源之前安装 vim 我没有成功,用的是vi 命令编辑 source.list 文件
输入:

sudo apt-get install vim

安装ssh:

sudo apt-get install openssh-server

此处注意:
发现虚拟机不能使用root用户进行ssh登录
解决方法:

vim /etc/ssh/sshd_config

找到 #PermitRootLogin prohibit-password在后面添加一行

PermitRootLogin yes

保存退出后,重启ssh服务:

sudo /etc/init.d/ssh restart

但是直接ssh ip地址 会出现错误,输入密码也不管用,原来是本地登录用户名和远程登录用户名不一致,上网也搜不到答案,网上的答案都是:

解决本地登陆用户与远程登陆用户不一致

好吧,这事很纠结,虽然不用输入密码了,但是还得 ssh aliyunzixun@xxx.com 来登陆,很不爽,你懂的。
其实解决也很简单(but是同事告诉我的,老脸一红),修改本地登陆用户的 ~/.ssh/config
文件,如果木有的话就自个儿建一个吧,内容如下:

Host SomeHostName
User_name_on SomeHostName

这样,本地和远程登陆用户名不一致也可以 ssh hostname 登陆了。

我寻思着复制粘贴连一个字都不改?
这tm什么意思我水平不够也看不懂
找到解决方法了。在~/.ssh 目录下新建config 文件,添加如下内容,
Host就是我想要连接的节点的地址,user是登录用户


                
  • 1
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值