个人学习笔记,仅供参考
从入门到入土 Hadoop新手搭建(1) Ubuntu安装及其配置
(1)系统安装
学习hadoop之前必然要先安装虚拟机,为了节省 (钱) 内存以及空间,以及为了模拟真实企业环境,这里选用Ubuntu18.04 server lts 进行安装,镜像可以去官网或者国内源下载,下载完成之后只有870M.(一开始根据教程用了14.04,后来出现了谜之问题,就换了18.04)
然后打开vm,新建虚拟机,以及选择稍后安装操作系统。
下一步后,为虚拟机选择安装位置和虚拟机名字,之后内存选择2G。
网络选择NAT,如果以前有改过NAT配置,那就进入网络编辑,把NAT恢复到默认就行了。
之后一直下一步,就可以了。
配置完成后,编辑虚拟机设置,选择CD/DVD,选择刚刚下载的镜像。
听说桌面版安装过程中,系统可能会向网络下载资源导致安装慢,服务器版不知道会不会有这种情况,大家可以选择性断开网络。
随后打开虚拟机选择语言,没有中文,就默认英文吧
进入网卡配置,如果会配置的,直接将后面的配置静态放在此处配置也是可以的,这里还有类图形界面可以选择,不然的话后面直接修改代码了。这一段是为了搭建一个通用的linux服务器,所以此处先不配置,默认nat的dhcp,直接回车就可以了。
之后选择填写代理,也是直接回车
填写镜像,选择阿里云会比较合适。填入
http://mirrors.aliyun.com/ubuntu
选择使用一整块磁盘
一直回车,选择continue
填入相关信息
此处需要 勾选openssh server
后面有一幅图是选择组件的,我没截到,什么也不用选,直接down
最后等待一会选择reboot
另外reboot之后 根据提示还要按一下回车,才会重启
开机之后,当他静止不动了,还要按一下回车,才会弹出登陆的信息,填上刚刚设置的账号密码,就可以进行登陆
这个时候可以在命令行里面打入ping baidu.com 来看看是否已经能上网,如果能上网了,那么正常的linux系统已经安装完毕了。
(2)ip配置
随后进行ip配置,在企业中,访问必然使用ssh,ssh就需要一个固定的ip地址,不然每次ip都变,会找不到服务器。所以现在要配置静态ip,打开虚拟网络编辑器
选择更改设置,并选择VMnet8 NAT模式
将“使用本地DHCP服务将IP地址分配给虚拟机”的勾去掉,
再点击NAT设置,记住网关ip
弄完之后,点击确认。
在命令行中打入指令ifconfig
记住网卡名字,例如我这里是ens33,和前面的安装时候的一样,听说有可能不一样,首先cd /etc/netplan
,然后ls
,查看文件,可以看到,我这里有一个.yaml文件。
之后sudo vi 50-cloud-init.yaml
,可以看到这样的内容,
把里面的内容改成
network:
ethernets:
ens33:
dhcp4: no
addresses: [192.168.222.100/24]
gateway4: 192.168.222.2
nameservers:
addresses: [192.168.222.2]
version:2
addresses :ip/24,24是因为掩码是255.255.255.0
gateway4:网关
nameservers: addresses:DNS
网关和dns都输入之前记下来的网关地址,ip设置为自己想要的ip.
保存后输入sudo netplan apply
,再次输入ifconfig
如果发现ip变为所设置的ip则配置成功,如果还是旧的ip,就重启服务器sudo shutdown -r now
,随后再次查看ip。
如果ip已经配置好,ping一下baidu.com,如果能通 则配置成功。
(3)ssh访问
在企业中我们不可能接触到服务器实机,而用ssh进行服务器指令执行,我们也将模拟这种情况。如果之前有勾选openssh选项的,那么ssh已经安装了。可以通过指令ps -e | grep ssh
来查看是否存在ssh。
如果已经安装,就输入指令ifconfig
来查看ip,如果配置正确的话,就是之前设置的静态ip。ens33第二行可以看到192.168.222.100就是ip了。
打开网络编辑器,再次点击NAT设置
点击端口转发下面的添加,主机端口填没有用的,虚拟机ip填静态ip地址,虚拟机端口填22,
打开网络适配器,找到VMnet8的网卡,右键属性,双击IPV4
填写相关数据,ip要填没有使用的,网关就是之前的网关
确认后,打开xshell输入ip,与端口
然后选择接受全部,随后输入账号密码,就可以登陆了。
至此ssh连接成功。
(4)换源
因为下载国外的东西速度比较慢,所以要换成国内的。如果之前安装的时候有填写阿里云的镜像,那源就已经换好了,不需要再换了。此环节结束。
如果先前没有配置,要先进行源备份,
在xshell连接后输入sudo cp /etc/apt/sources.list /etc/apt/sources.list.bak
这个时候xshell的优点就体现了,脱离了虚拟机,打起来比在虚拟机里面看着舒服,而且支持复制粘贴,只要把代码粘贴到xshell里面就可以了。
之后输入sudo vi /etc/apt/sources.list
,国内的话阿里和清华的源都是比较好的。清空原来的内容:.,$d
,输入阿里的源
deb http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-security main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-updates main restricted universe multiverse
deb-src http://mirrors.aliyun.com/ubuntu/ bionic-backports main restricted universe multiverse
并保存,输入sudo apt update
可以看到已经变成阿里源了。