打怪升级之小白的大数据之旅(三十八)
Linux基础知识
上次回顾
- 上一章我们学完了Maven的所有知识点,核心知识比较多,主要是为了让我们清晰地认识Maven,辅助我们更好的使用它
- 本章节是Linux的知识点,Linux主要是针对命令的使用,我会将Linux拆分成两部分,第一部分是在我们的电脑上安装所需要的东西,这其中也包括了后面Hadoop需要搭配的环境,第二章就是我们会遇到的命令,需要的时候可以随时回看
Linux入门
- 目前我们所有的计算机主流的系统分为三大类,分别是Windows,Linux和苹果的MacOS,这里主要说明一下Windows与Linux的区别,苹果的系统就不说了
- 我们经常用到的系统就是windows系统,他是一个桌面系统,而Linux最初是一个无桌面的系统,虽然现在也有了图形化的桌面系统.
- 不论是电脑的软件还是手机的APP,大部分的软件和服务都是运行在Linux的无界面系统上,因为Linux是开源的并且可定制化非常强,而且相对于Windows来说,系统比较稳定且运行速度快
- 要学习Linux系统就需要了解Linux的命令了,因为Linux具有完全的命令行操作,可以只使用键盘完成一切操作
VMWare与CentOS的安装与使用
- Linux的介绍有很多,我就简单介绍地介绍了一下它,下面我来详细说明一下如何在Windows系统上使用Linux
- 要使用Linux就要使用VMware,它是一个虚拟机,可以通过它安装Linux的系统,我们使用的系统是CentOS,它是基于Linux内核开发的一个操作系统,安装CentOS需要下载系统镜像
- CentOS镜像地址
网易镜像:http://mirrors.163.com/centos/6/isos/
搜狐镜像:http://mirrors.sohu.com/centos/6/isos/
网易镜像:http://mirrors.sohu.com/centos/7.5.1804/isos/x86_64/
- CentOS镜像地址
VMware的安装
第一步:VMware需要在网上下载,大家可以自行百度,如果有需要可以后台私信我,我安装的是VMware16
第二步:下载好之后,直接点击安装,前面都是下一步,我就不上图了,我这里就强调一些注意点,VMware Workstation增强型键盘功能不勾选
下一步就是输入密钥,密钥大家自行百度问问度娘,我建议支持正版哈~~,后面就直接下一步下一步即可
CentOS的安装
VMware安装完毕之后,我们要通过它安装CentOS操作系统
第一步: 点击创建新的虚拟机
第二步:选择自定义安装
第三步:下一步,然后在这里选择稍后安装操作系统
第四步:选择版本,因为我下载的是CentOS7的镜像,所以我选择的是CentOS7
第五步:修改虚拟机名称,选择需要安装的位置,我建议不要安装在系统盘,专门为VMware建立一个文件夹,里面用于存放虚拟机,后面大数据我们可能需要安装多个虚拟机的
第六步:处理器配置,根据自己的电脑选择
第七步:设置内存,我设置的是2GB
第八步:都是默认,直接下一步下一步,直到这里,选择创建新的虚拟磁盘
第九步:设置磁盘容量,我设置的是50G,大家根据自身情况设置
第十步,一直下一步下一步完成了,然后我们为我们建立的这个虚拟机安装CentOS系统
第十一步: 点击开启虚拟机
第十二步:选择安装操作系统 Install CentOS7
第十三步:选择安装的语言,我们选择中文
第十四步:选择时区,我们的时区是上海的,键盘是汉语
第十五步:选择需要安装系统的类型,我们学习Linux的时候安装选择桌面系统,当学习Hadoop的时候再建立一个虚拟机,然后在这一步选择默认的这个最小安装
第十六步:其他的都是默认,直接点开始安装,等待安装完成,安装过程中,我们还要设置一下系统的密码,默认是管理员账号root
后面的就不用管,直接下一步,就好了
Linux文件与目录结构
Linux中,一切皆文件,也就说,它所有的东西都是以文件的形式展现,了解清楚这一点,下面为大家介绍一下Linux的目录结构
Linux的/是根目录,它下面有/root /bin等目录,这些目录管理着不同的功能,我就介绍几个对我们来说需要了解的目录
- /root
- 这个目录是系统管理员,也称作超级权限者的用户主目录
- /bin
- 这个目录用于存放经常使用的命令
- /home
- 存放普通用户的主目录,如果我们建立了子账户,就会存放到这里
- /etc
- 所有的系统管理所需要的配置文件和子目录都在这里存放
- /usr
- 这个存放着用户的应用程序和文件,类似于Windows的program files目录
- /boot
- 这里存放的是启动Linux时使用的一些核心文件,我们把它当作系统文件目录就好,因此注意不要在这个目录下操作
- /tmp
- 这个目录用于存放一些临时文件
- /metia
- Linux会自动识别一些设备,例如U盘等,识别后会把识别到的设备挂载在这个目录下
- /mnt
- 我们可以将外部的存储挂载这里,类似插入U盘后,系统会分配一个盘符
- /opt
- 主机额外安装软件所存放的目录,我们可以将它理解为Windows的d,e,f盘
- /var
- 这里主要存放不断扩充着的文件,我们通常会将经常修改的文件存放到这里,比如日志文件
VIM编辑器
- VIM就是一个文本编辑器,例如我们Java阶段使用的Notepad++,记事本等
- 在Linux中,VIM是很重要的知识点,在大数据中我们经常要进行配置文件的设置等,都会使用到它,因此我们一定要熟练使用VIM
VIM使用的分类
VIM分为三大类,分别是一般模式、编辑模式、命令模式
一般模式
-
以vi/vim打开一个档案就直接进入一般模式了(这是默认的模式)。在这个模式中, 我们可以使用『上下左右』按键来移动光标,你可以使用『删除字符』或『删除整行』来处理档案内容, 也可以使用『复制、贴上』来处理文件数据
-
一般模式的常用语法
按键 功能描述 yy 复制光标当前一行 y数字y 复制一段(从第几行到第几行) p 箭头移动到目的行粘贴 u 撤销上一步 dd 删除光标当前行 d数字d 删除光标(含)后多少行 x 删除一个字母,相当于del,向后删 X 删除一个字母,相当于Backspace,向前删 yw 复制一个词 dw 删除一个词 ^ 移动到行头 $ 移动到行尾 gg 移动到页头 G 移动到页尾 数字+G(先输入数字,在按G) 移动到目标行
编辑模式
-
在一般模式中可以进行删除、复制、粘贴等的动作,但是无法编辑文件内容!要等到我们按下『i, I, o, O, a, A』等任何一个字母之后才会进入编辑模式
-
通常在Linux中,按下这些按键时,在画面的左下方会出现『INSERT或 REPLACE』的字样,此时才可以进行编辑
-
如果要回到一般模式时, 则必须要按下『Esc』这个按键即可退出编辑模式
-
编辑模式常用语法
按键 功能描述 i 当前光标前 a 当前光标后 o 当前光标行的下一行 I 光标所在行最前 A 光标所在行最后 O 当前光标行的上一行 ESC 退出编辑模式
命令模式
- 在一般模式当中,输入『 : / ?』3个中的任何一个按钮,就可以进入命令模式,它会在最底部出现
- 命令模式中可以提供搜索,保存,替换,退出,显示行号等功能
- 命令模式的常用语法
命令 | 功能 |
---|---|
:w | 保存 |
:q | 退出 |
:! | 强制执行 |
: %s/旧字符/新字符[/g] | 批量替换 加上/g是全局批量替换 |
/ 要查找的词 | n 查找下一个,N 往上查找 |
? 要查找的词 | |
:set nu | 显示行号 |
:set nonu | 关闭行号 |
ZZ(shift+zz) | 没有修改文件直接退出,如果修改了文件保存后退 |
:nohl | 去除高亮显示 |
VIM设置TAB默认4个缩进
在后面我们使用shell编程时,会使用缩进来进行编写,VIM默认的是8个缩进,看起来很不爽,因此我们可以通过etc配置文件进行VIM的配置
方法一:
vim /etc/vimrc
在文件末尾添加
set tabstop=4
方法二:
echo "set tabstop=4" >> /etc/vimrc
方法三:
vim /etc/vimrc
在文件末尾添加
set ts=4
set autoindent
远程登录
- 在开发过程中,我们可以通过远程连接来实现对Linux服务器的控制,这点很重要,因为我们以后的开发基本上都是这么做的,我们通常使用的方式是通过xshell来进行
- 远程登录前需要进行一下网络配置,因为我们建立虚拟机的时候并没有配置网络,所以是远程登录不上的
网络配置
VMnet8设置
这个是在Windows中设置
第一步:打开网络配置,这里右键
第二步: 适配器设置
第三步:VMnet8设置
VMware设置
第一步:点击编辑->选择虚拟网络编辑器
第二步:NAT设置
第三步:DHCP设置
第四步:修改windows中的hosts文件(为了以后我们可以在windows中直接访问到我们的hadoop服务器)
- 进入hosts文件夹:C:\Windows\System32\drivers\etc
- hosts末尾添加如下内容:
192.168.1.100 hadoop100 192.168.1.101 hadoop101 192.168.1.102 hadoop102 192.168.1.103 hadoop103 192.168.1.104 hadoop104 192.168.1.105 hadoop105 192.168.1.106 hadoop106 192.168.1.107 hadoop107 192.168.1.108 hadoop108 192.168.1.110 hadoop110 192.168.1.111 hadoop111 192.168.1.112 hadoop112 192.168.1.113 hadoop113 192.168.1.114 hadoop114 192.168.1.115 hadoop115 192.168.1.116 hadoop116 192.168.1.117 hadoop117 192.168.1.118 hadoop118
CentOS设置
第一步:打开虚拟机,启动后,在桌面中右键打开终端
第二步: 在终端中输入:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
第三步:进行网络设置
#IP的配置方法[none|static|bootp|dhcp](引导时不使用协议|静态分配IP|BOOTP协议|DHCP协议)
# 修改下面两个
BOOTPROTO=static
ONBOOT=yes
# 添加下面的内容
# IP地址,同样的1.后面的可以自定义,但是不能跟windows中设置的ip相同
IPADDR=192.168.1.100
# 网关
GATEWAY=192.168.1.2
# 域名解析器
DNS1=114.114.114.114
DNS2=8.8.8.8
第四步: 使用 :wq保存退出
,然后使用systemctl restart network
重启网络配置
第五步: 配置完成在终端中输入ping www.baidu.com
,如果出现下面这个,就代表配置成功
第六步:查看我们的Ip地址,终端中输入命令ifconfig
记住这个,我们下面XShell中需要使用它
hosts主机映射
- 首先我先说一下我们的主机名配置
# 打开主机名称hostname文件 vim /etc/hostname # 编辑hostname myCentOS
- 进行了上面的配置后,需要重启一下虚拟机,然后我们的这台服务器名称就是myCentOS了
- 这个知识点在后面配置Hadoop的时候会用到,主机映射是什么?在我们输入www.baidu.com的时候,我们的浏览器是不知道这个url是什么,它需要将这个网址在DNS这个服务器上进行解析,解析后就会找到百度的服务器地址,xxx.xxx.xxx.xxx,然后根据这个ip地址就可以访问到百度的页面了
- 那么我们自己配置hosts有什么用呢?很简单,我们修改了hosts文件后,就可以不用经过DNS服务器,我们直接就可以进行访问了;在上面我们修改了我们的hostname,我们的ip是192.168.1.100,那么如果要访问我这台电脑,可以不用ip,直接使用myCentOS依旧可以找到我们的这台电脑
- hostname就如同百度的网址
- 当然了,我们要告诉主机,这个名字对应的服务器是谁,因此除了修改hostname还需要修改hosts文件,它是就像我们前面java学习的map集合,是一个键值对的存在,下面的hosts配置是后面Hadoop中需要用到的,等我们到时候配置的时候就懂了,先提前了解一下这个知识点
# 修改hosts文件 192.168.1.100 hadoop102 192.168.1.101 hadoop103 192.168.1.102 hadoop104
XShell的使用
XShell安装没有什么特殊的地方,直接度娘搜索然后下载即可,我着重为大家介绍如何使用XShell进行远程连接
第一步:打开XShell后会弹出会话框,此时我们是空白的,点击新建会话
第二步:配置需要连接的IP地址,这个地址就是前面网络配置中ifconfig显示的linux系统的IP地址
第三步:点击接受并保存,然后输入账号密码
出现这个绿色的点就代表连接成功了,如果有问题,后台联系我哈
xshell安装完成后,还需要进行xftp的安装,依旧是傻瓜安装哈,就不举例了,一定记得安装,下载地址自行百度,或者后台私信我
快照与克隆
快照是为了防止我们误操作导致系统崩溃,我们使用快照可以让系统恢复到快照时的状态,有了它,系统崩溃了也不怕啦。。
快照的方式
选择我们的虚拟机–>右键–>快照,然后弹出这个框,点击拍摄就好了
克隆
克隆就相当于复制一台一模一样的虚拟机,有了它,我们就不用重复的安装系统了
第一步:关闭我们要克隆的虚拟机
第二步:在我们需要可控虚拟机上右键–>管理
第三步: 下一步–>选择克隆虚拟机–>再次下一步
第四步: 选择完整克隆
第五步:设置虚拟机名称和存储位置;这里还是建议放到我们前面提到过的那个VMware虚拟机专用文件夹中
第六步:因为是完整克隆,IP地址也是一样的,我们就需要更改一下IP地址,这个前面网络配置讲过了,直接改IP地址就好
/etc/sysconfig/network-scripts/ifcfg-eth33
总结
- 本章节的内容比较多,本来是想拆开来讲的,但觉得没必要,主要内容就是VMware的安装与CentOS虚拟机的安装以及Xshell的安装
- 最主要的重点就是VIM了,我们一定一定要多练,不论是大数据还是别的项目开发都离不开VIM编辑,好了,下一章我会对Linux的常用命令进行分享,很简单.