之前一直想学习hadoop,却苦于没时间及安装的麻烦而把这项任务束之高阁。今天终于重启HADOOP学习之旅。先把今天安装hadoop的一些问题总结出来,以备遇到同样问题的你们能够参考:
1、系统要求:linux.若不是Linux,则下载个虚拟机,比如oracle virtual box 等。若是win10系统,安装虚拟linux系统时可能会出现问题,请到bios主板中设置virtual specatrual...(忘了是不是这个单词),设置为enter。就能装64位的虚拟机了。
2、安装好linux后,下载hadoop。最好是去官网下载,然后解压,命令好像是:zvxf -hadoop2.7.13.tar.gz .
3.解压后,下一步就是配置ssh免密码登录(先说本机登录,这个过程我遇到了很多问题).输入命令:ssh localhost,如果连不通就不成功。
①第一步,生成rsa或dsa公钥,私钥.输入命令:
$ ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa ,生成rsa密钥,密码为空,密钥存放路径为~/.ssh/id_rsa.
$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys,把公钥写入到authorized_keys中。
注意:必须把authorized_keys权限设为600:命令为chmod 600 ~/.ssh/authorized_keys。
②按理说应该是可以的,但我试了下还是没成功。提示如下:ssh: connect to host localhost port 22: Connection refused。
可能原因为:sshd未安装,sshd未启动,或防火墙的问题。解决如下:
安装sshd:sudo apt-get install openssh-server。
启动:sudo net start sshd 。
检查并关闭防火墙:sudo ufw disable。
再次输入命令:ssh localhost.提示连接成功。