大数据-Linux系统与虚拟机

目录

Linux系统结构

Linux内核与发行版本

虚拟机介绍及安装

Linux系统安装

Linux文件系统

Linux 基本指令

Vi编辑器

基本配置

总结

后期文章重要内容汇总


从今天开始,学习大数据。

Linux简介、背景之类的就不多说了。

Linux系统结构

系统结构图

Linux内核与发行版本

  • 内核:软件与硬件交互的平台,提供系统服务,文件管理,内存管理,i/o管理,进程管理等。
  • 发行版:内核 + 软件
  • 常用发行版:Red Hat / CentOS、Debian / Ubuntu

学习大数据采用的是CentOS

虚拟机介绍及安装

  • 虚拟机(Virtual Machine)指通过软件模拟的具有完整硬件系统功能的、运行在一个完全隔离环境中的计算机系统。
  • 流行的虚拟机软件有VMware Workstation、Virtual Box和Virtual PC
  • VMware Workstation的安装:
虚拟机名称
虚拟机设置

 每一个安装步骤就不详细写了,很简单。安装包在下方百度网盘中。

  • 虚拟机的网络模式
    • 仅主机模式
    • 桥接模式
    • NAT模式(我们选择这个模式)

Linux系统安装

用户及密码
  • 继续下一步,到网络连接下选项时选择 NAT ,又继续下一步,到分配磁盘界面根据自己电脑配置去分配大小,学习大数据的话20G比较合适,(注意,这个大小是决定此虚拟机的最大硬盘容量,以后不能修改的),选择 “将虚拟磁盘拆分为多个文件”(为方便移动虚拟机)
  • 一直点击下一步,直到点击了完成
  • 启动虚拟机出现以下界面即可说明安装成功
安装成功截图

Linux文件系统

  • 文件系统格式
    • Linux:ext4、ext3、xfs (查看分区文件系统类型:parted -l)
    • windows:NTFS、fat32
  • 整个文件系统可以看做是一棵树,不会根据扩展名判别文件类型,会根据内容自动判断类型。在创建文件时,可以人为的添加扩展名,方便区分
  • 命名规则
    • 除了 / 之外,所有的字符都合法
    • 有些字符最好不适用,比如空格符、制表符、退格符和字符 : ? ,@ # $ & () \ | ;" "" <> 等等
    • 避免使用+ 、 - 或 . 来作为普通文件名的第一个字符
    • 大小写敏感
  • 常见目录用途
    • / 根目录
    • /bin|/sbin|/usr/bin 存放可执行的二进制文件
    • /boot 存放启动时文件
    • /dev 存放和挂载设备文件
    • /etc 配置文件存放的目录
    • /home 用户的家目录
    • /root root用户的家目录
    • /mnt|/media 光盘挂载点
    • /usr 安装程序目录
    • /var 存放经常变化的文件
虚拟机桌面
文件系统

Linux 基本指令

  • 命令行含义:
    [用户名@主机名 当前目录]#
    #表示root用户, $表示普通用户
  • 常用shell指令
    • su (用法:su 用户名,切换用户)
    • pwd (显示当前工作目录)
    • cd (改变工作目录)
      • cd path(进入指定目录)
      • cd ..(返回上级目录)
      • cd ~(返回用户主目录)
      • cd -(返回上次操作的目录)
    • ls(用法:ls [参数] 路径 ,显示目录内容列表)
      • -l(详细信息显示,可用 ll 代替)
      • -a(显示所有子目录和文件的信息,包括隐藏文件)
      • -A(类似于“-a”,但不显示“.”和“..”目录的信息)
      • -R(递归显示内容)
      • -h(以友好方式显示文件大小)
    • touch(用法:touch 路径,创建空文件或更新文件时间标记)
    • mkdir(用法:mkdir [参数] 路径,创建文件夹)
      • -p(级联的方式创建文件夹,上级目录不存在自动创建)
    • file(用法:file 路径,查看文件类型)
    • cp(用法:cp [参数] 源文件或目录… 目标文件或目录)
      • -r(递归复制整个目录)
    • mv(用法:mv [参数] 源文件或目录… 目标文件或目录)
      • 源和目标 目录一样时就是重命名的效果
    • cat (用法:cat [参数] 文件路径,查看目标文件的内容)
      • -n (显示行号)
    • rm(用法:rm [选项] 文件或目录,删除指定文件或目录)
      • -f(强行删除文件或目录,不进行提醒)
      • -i(删除文件或目录时提醒用户确认)
      • -r (递归删除整个目录树)
      • rm -rf /(删除整个linux系统的文件,从删库到跑路!)

Vi编辑器

vi编辑器是Linux和Unix上的标准文本编辑器,相当于windows上的记事本,功能更强大。vim是增强版的vi。

vi编辑器的三种模式

  • 命令模式
    • 使用vi/vim 文件名 进入编辑器后就是命令模式
    • 可以进行复制、剪切、粘贴、删除等操作
    • 命令行模式下保存并退出:输入 ZZ
    • 命令模式下按一下冒号进入底行模式(shift+:)
  • 插入模式(左下方出现 INSERT)
    • 在命令模式下按字母 i 进入 Insert mode,插入模式下可以输入文字
    • 插入模式按esc返回命令模式
  • 底行模式(最下方出现冒号)
    • w 文件名(以指定的文件名保存)
    • wq (存盘并退出vi)
    • q! (不存盘强制退出vi)

基本配置

  • 配置静态ip

在虚拟机中点击编辑-》虚拟网络编辑器

虚拟网络编辑器
NAT设置
  • sudo vi /etc/sysconfig/network-scripts/ifcfg-eth0
  • 修改 bootproto的值为 static
  • 添加 IPADDR=192.168.74.91,DNS1=192.168.74.2,GATEWAY=192.168.74.2,PREFIX=24

具体ip根据自己的来确定,按照C类地址规则即可。

使用ifconfig来查看

ifconfig查看

在cmd窗口使用ipconfig或者找到网络设置,查看本机ip

本机ip

使用ping命令,在cmd窗口使用ping命令来测试,ping 虚拟机的ip,同样在虚拟机的Terminal界面(鼠标右键,Open in Terminal)使用ping命令测试。

主机ping虚拟机

至此,网络设置没有问题了。

设置hostname及主机映射

  • 查看:hostname
  • 修改(临时生效):hostname 名字
  • 修改(重启永久生效):sudo vi /etc/sysconfig/network  这里把HOSTNAME的值改为hadoop001
修改HOSTNAME
使用sudo vi /etc/hosts修改主机映射
主机映射
  • 对防火墙的操作
    • 防火墙是位于内部网和外部网之间的屏障,它按照系统管理员预先定义好的规则来控制数据包的进出
    • service iptables status:查看防火墙状态
    • service iptables start:开启防火墙
    • service iptables stop:关闭防火墙
    • chkconfig iptables on:开机自启
    • chkconfig iptables off:关闭开机自启
  • 系统启动级别
    • 查看级别:runlevel
    • 修改启动级别:vi /etc/inittab(0-6,改为3,不启动图形化界面,开机快)
  • 文件权限
    我们执行 ls -l (或者 ll )指令后,得到如下内容
文件权限
  • 前10个字符就表示不同的用户能对这个文件做什么样的操作
    • 第一位表示文件的类型(-表示文件、d表示目录、l表示链接)
    • 其余9位字符每3个一组(rwx),读(r)、写(w)、执行(x)
      • 第一组:文件所有者的权限
      • 第二组:与文件所有者同一组的用户的权限
      • 第三组:不与文件所有者同组的其他用户的权限
  • 接下来的数字表示连接数,就是该目录下面的目录的个数,包括隐藏的.和..目录
  • 第一个root表示用户
  • 第二个root表示用户所在的组
  • 在后面就分别是文件大小与最后修改时间,最后就是文件名

  • 权限修改

    • chmod u=rwx,g=rx,o=rx abc:同上u=用户权限,g=组权限,o=不同组其他用户权限
    • chmod u-x,g+w abc:给abc去除用户执行的权限,增加组写的权限
    • chmod a+r abc:给所有用户添加读的权限
    • chmod 755 abc:赋予abc权限rwxr-xr-x(用数字表示为:r=4,w=2,x=1)

总结

今天主要学习了以下内容:

虚拟机安装

操作系统安装

学习Linux基本命令

学习vi编辑器

配置静态ip

设置主机名及映射

后期文章重要内容汇总

VM:hadoop001

用户:root hadoop

重要内容汇总
IPhostnamejdk虚拟机名hadoop其他备注
192.168.74.91hadoop0011.8hadoop0012.7.5 母版
192.168.74.121hadoop11.8h12.7.5 NameNode
192.168.74.122hadoop21.8h22.7.5 SecondryNameNode

192.168.74.123

hadoop31.8h32.7.5 ResourceManager

 

 

 

 

 

 

 

网盘链接:

链接:https://pan.baidu.com/s/1yIHOlRPpcGYkKTYM4-64bA
提取码:ims7

更多大数据知识请查看:大数据自学目录

有问题请下方评论,转载请注明出处,并附有原文链接,谢谢!如有侵权,请及时联系。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

lady_killer9

感谢您的打赏,我会加倍努力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值