目录
从今天开始,学习大数据。
Linux简介、背景之类的就不多说了。
Linux系统结构
Linux内核与发行版本
- 内核:软件与硬件交互的平台,提供系统服务,文件管理,内存管理,i/o管理,进程管理等。
- 发行版:内核 + 软件
- 常用发行版:Red Hat / CentOS、Debian / Ubuntu
学习大数据采用的是CentOS
虚拟机介绍及安装
- 虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的计算机系统。
- 流行的虚拟机软件有VMware Workstation、Virtual Box和Virtual PC
- VMware Workstation的安装:
每一个安装步骤就不详细写了,很简单。安装包在下方百度网盘中。
- 虚拟机的网络模式
- 仅主机模式
- 桥接模式
- NAT模式(我们选择这个模式)
Linux系统安装
- 继续下一步,到网络连接下选项时选择 NAT ,又继续下一步,到分配磁盘界面根据自己电脑配置去分配大小,学习大数据的话20G比较合适,(注意,这个大小是决定此虚拟机的最大硬盘容量,以后不能修改的),选择 “将虚拟磁盘拆分为多个文件”(为方便移动虚拟机)
- 一直点击下一步,直到点击了完成
- 启动虚拟机出现以下界面即可说明安装成功
Linux文件系统
- 文件系统格式
- Linux:ext4、ext3、xfs (查看分区文件系统类型:parted -l)
- windows:NTFS、fat32
- 整个文件系统可以看做是一棵树,不会根据扩展名判别文件类型,会根据内容自动判断类型。在创建文件时,可以人为的添加扩展名,方便区分
- 命名规则
- 除了 / 之外,所有的字符都合法
- 有些字符最好不适用,比如空格符、制表符、退格符和字符 : ? ,@ # $ & () \ | ;" "" <> 等等
- 避免使用+ 、 - 或 . 来作为普通文件名的第一个字符
- 大小写敏感
- 常见目录用途
- / 根目录
- /bin|/sbin|/usr/bin 存放可执行的二进制文件
- /boot 存放启动时文件
- /dev 存放和挂载设备文件
- /etc 配置文件存放的目录
- /home 用户的家目录
- /root root用户的家目录
- /mnt|/media 光盘挂载点
- /usr 安装程序目录
- /var 存放经常变化的文件
Linux 基本指令
- 命令行含义:
[用户名@主机名 当前目录]#
#表示root用户, $表示普通用户 - 常用shell指令
- su (用法:su 用户名,切换用户)
- pwd (显示当前工作目录)
- cd (改变工作目录)
- cd path(进入指定目录)
- cd ..(返回上级目录)
- cd ~(返回用户主目录)
- cd -(返回上次操作的目录)
- ls(用法:ls [参数] 路径 ,显示目录内容列表)
- -l(详细信息显示,可用 ll 代替)
- -a(显示所有子目录和文件的信息,包括隐藏文件)
- -A(类似于“-a”,但不显示“.”和“..”目录的信息)
- -R(递归显示内容)
- -h(以友好方式显示文件大小)
- touch(用法:touch 路径,创建空文件或更新文件时间标记)
- mkdir(用法:mkdir [参数] 路径,创建文件夹)
- -p(级联的方式创建文件夹,上级目录不存在自动创建)
- file(用法:file 路径,查看文件类型)
- cp(用法:cp [参数] 源文件或目录… 目标文件或目录)
- -r(递归复制整个目录)
- mv(用法:mv [参数] 源文件或目录… 目标文件或目录)
- 源和目标 目录一样时就是重命名的效果
- cat (用法:cat [参数] 文件路径,查看目标文件的内容)
- -n (显示行号)
- rm(用法:rm [选项] 文件或目录,删除指定文件或目录)
- -f(强行删除文件或目录,不进行提醒)
- -i(删除文件或目录时提醒用户确认)
- -r (递归删除整个目录树)
- rm -rf /(删除整个linux系统的文件,从删库到跑路!)
Vi编辑器
vi编辑器是Linux和Unix上的标准文本编辑器,相当于windows上的记事本,功能更强大。vim是增强版的vi。
vi编辑器的三种模式
- 命令模式
- 使用vi/vim 文件名 进入编辑器后就是命令模式
- 可以进行复制、剪切、粘贴、删除等操作
- 命令行模式下保存并退出:输入 ZZ
- 命令模式下按一下冒号进入底行模式(shift+:)
- 插入模式(左下方出现 INSERT)
- 在命令模式下按字母 i 进入 Insert mode,插入模式下可以输入文字
- 插入模式按esc返回命令模式
- 底行模式(最下方出现冒号)
- w 文件名(以指定的文件名保存)
- wq (存盘并退出vi)
- q! (不存盘强制退出vi)
基本配置
- 配置静态ip
在虚拟机中点击编辑-》虚拟网络编辑器
- sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
- 修改 bootproto的值为 static
- 添加 IPADDR=192.168.74.91,DNS1=192.168.74.2,GATEWAY=192.168.74.2,PREFIX=24
具体ip根据自己的来确定,按照C类地址规则即可。
使用ifconfig来查看
在cmd窗口使用ipconfig或者找到网络设置,查看本机ip
使用ping命令,在cmd窗口使用ping命令来测试,ping 虚拟机的ip,同样在虚拟机的Terminal界面(鼠标右键,Open in Terminal)使用ping命令测试。
至此,网络设置没有问题了。
设置hostname及主机映射
- 查看:hostname
- 修改(临时生效):hostname 名字
- 修改(重启永久生效):sudo vi /etc/sysconfig/network 这里把HOSTNAME的值改为hadoop001
使用sudo vi /etc/hosts修改主机映射
- 对防火墙的操作
- 防火墙是位于内部网和外部网之间的屏障,它按照系统管理员预先定义好的规则来控制数据包的进出
- service iptables status:查看防火墙状态
- service iptables start:开启防火墙
- service iptables stop:关闭防火墙
- chkconfig iptables on:开机自启
- chkconfig iptables off:关闭开机自启
- 系统启动级别
- 查看级别:runlevel
- 修改启动级别:vi /etc/inittab(0-6,改为3,不启动图形化界面,开机快)
- 文件权限
我们执行 ls -l (或者 ll )指令后,得到如下内容
- 前10个字符就表示不同的用户能对这个文件做什么样的操作
- 第一位表示文件的类型(-表示文件、d表示目录、l表示链接)
- 其余9位字符每3个一组(rwx),读(r)、写(w)、执行(x)
- 第一组:文件所有者的权限
- 第二组:与文件所有者同一组的用户的权限
- 第三组:不与文件所有者同组的其他用户的权限
- 接下来的数字表示连接数,就是该目录下面的目录的个数,包括隐藏的.和..目录
- 第一个root表示用户
- 第二个root表示用户所在的组
-
在后面就分别是文件大小与最后修改时间,最后就是文件名
-
权限修改
- chmod u=rwx,g=rx,o=rx abc:同上u=用户权限,g=组权限,o=不同组其他用户权限
- chmod u-x,g+w abc:给abc去除用户执行的权限,增加组写的权限
- chmod a+r abc:给所有用户添加读的权限
- chmod 755 abc:赋予abc权限rwxr-xr-x(用数字表示为:r=4,w=2,x=1)
总结
今天主要学习了以下内容:
虚拟机安装
操作系统安装
学习Linux基本命令
学习vi编辑器
配置静态ip
设置主机名及映射
后期文章重要内容汇总
VM:hadoop001
用户:root hadoop
IP | hostname | jdk | 虚拟机名 | hadoop | 其他 | 备注 |
---|---|---|---|---|---|---|
192.168.74.91 | hadoop001 | 1.8 | hadoop001 | 2.7.5 | 母版 | |
192.168.74.121 | hadoop1 | 1.8 | h1 | 2.7.5 | NameNode | |
192.168.74.122 | hadoop2 | 1.8 | h2 | 2.7.5 | SecondryNameNode | |
192.168.74.123 | hadoop3 | 1.8 | h3 | 2.7.5 | ResourceManager |
网盘链接:
链接:https://pan.baidu.com/s/1yIHOlRPpcGYkKTYM4-64bA
提取码:ims7
更多大数据知识请查看:大数据自学目录
有问题请下方评论,转载请注明出处,并附有原文链接,谢谢!如有侵权,请及时联系。