大数据技术基础实验二:Linux基础——常用基本命令与文件操作
文章目录
一、前言
上一期博客我们完成了虚拟机的连接以及SSH免密登录,熟悉了一下Linux,现在我们来专门学习一下Linux的一些常用基本命令与文件操作,方便我们后续进行其他的实验操作。
这些命令你不用专门去花时间去死记硬背,那样记不牢,多进行Linux的操作慢慢的就记住了,切记实操很重要,学校大数据云平台提供了探索环境的练习方式,大家可以多去玩玩就可以了。
另外,网上也有很多有关Linux大全的网站,忘记怎么操作的时候还可以上网查一下,加深印象。
好啦,废话不多说,我们开始今天的学习!
二、Linux常用基本命令
1、查看所有环境变量
我们输入命令:env就可以查看我们虚拟机里面所有的环境变量,可以看见安装了那些环境:
[root@master ~]# env
SPARK_HOME=/usr/cstor/spark
HOSTNAME=master
HADOOP_CMD=/usr/cstor/hadoop/bin/hadoop
TERM=xterm
SHELL=/bin/bash
HADOOP_HOME=/usr/cstor/hadoop
HISTSIZE=1000
SSH_CLIENT=10.30.24.6 61251 22
SSH_TTY=/dev/pts/0
JRE_HOME=/usr/local/jdk1.7.0_79/jre
USER=root
JAVA_LIBRARY_PATH=/opt/cloudera/parcels/CDH-4.3.0-1.cdh4.3.0.p0.22/lib/hadoop/lib/native
LD_LIBRARY_PATH=/usr/lib64/R/library/rJava/jri
...
RServe_HOME=/usr/lib64/R/library/RServe
HIVE_HOME=/usr/cstor/hive
PWD=/root
JAVA_HOME=/usr/local/jdk1.7.0_79
LANG=en_US.UTF-8
TZ=Asia/Shanghai
RHIVE_DATA=/usr/lib64/R/rhive/data
ZOOKEEPER_HOME=/usr/cstor/zookeeper
HADOOP_OPTS=-Djava.library.path=/usr/cstor/hadoop/lib
HADOOP_STREAMING=/usr/cstor/hadoop/share/hadoop/tools/lib/hadoop-streaming-2.7.1.jar
HISTCONTROL=ignoredups
SHLVL=1
HOME=/root
LOGNAME=root
CLASSPATH=.:/usr/lib64/R/library/rJava/jri
SSH_CONNECTION=10.30.24.6 61251 10.30.160.8 22
LESSOPEN=||/usr/bin/lesspipe.sh %s
R_HOME=/usr/lib64/R
SCALA_HOME=/usr/cstor/scala
_=/usr/bin/env
2、验证cd和pwd命令
cd命令是打开某个路径的命令,也就是打开某个文件夹,并跳转到该文件夹下,它在Windows系统中作用一样:
cd path
其中path有绝对路径和相对路径之分,绝对路径强调从/起,一直到所在路径,而相对路径则是相对于当前路径来说的。
例如打开home下的uesername下的etc文件夹:
cd /home/username/etc 绝对路径
cd etc 相对路径
另外在Linux系统中 . 代表当前目录, … 代表上级目录,如果要返回上级目录就可以使用命令:cd …。
pwd命令是查看当前目录,并返回工作目录名字,是绝对路径名:
[root@master ~]# pwd
/root
3、验证ls命令
ls意思为list,用于列举指定目录下的文件名称以及属性。
语法格式:ls [参数] [文件]
命令 | 说明 |
---|---|
ls ××× | 列出文件 |
ls 目录名 ××× | 列出目录名下的可见文件 |
ls -l 目录名 ××× | 列出目录名下的课件文件详细信息 |
ls -hl 目录名 ××× | 列出详细信息并以可读大小显示文件大小 |
ls -al 目录名 ××× | 列出所有文件(包括隐藏文件)的详细信息 |
值得注意的是,Linux中以 . 开头的文件或者文件夹都是隐藏文件或者隐藏文件夹。
[root@master ~]# ls . 仅列出当前目录可见文件
anaconda-ks.cfg dataset notebooks
[root@master ~]# ls -l .
total 4
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 18:23 notebooks
[root@master ~]# ls -hl . 列出详细信息并以可读大小显示文件大小
total 4.0K
-rw------- 1 root root 3.3K Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 18:23 notebooks
[root@master ~]# ls -al . 列出所有文件(包括隐藏文件)的详细信息
total 24
dr-xr-x--- 6 root root 172 Sep 9 18:23 .
drwxr-xr-x 16 root root 251 Sep 9 18:23 ..
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
-rw-r--r-- 1 root root 18 Dec 29 2013 .bash_logout
-rw-r--r-- 1 root root 1307 Sep 9 18:23 .bash_profile
-rw-r--r-- 1 root root 176 Dec 29 2013 .bashrc
drwx------ 3 root root 17 Jul 3 2018 .cache
-rw-r--r-- 1 root root 100 Dec 29 2013 .cshrc
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 18:23 notebooks
drwxr----- 3 root root 19 Jul 3 2018 .pki
-rw-r--r-- 1 root root 129 Dec 29 2013 .tcshrc
[root@master ~]#
4、验证mkdir命令
mkdir命令用于新建文件夹。
语法格式:mkdir [参数] 目录
常用参数:
参数 | 说明 |
---|---|
-p | 递归创建多级目录 |
-m | 建立目录的同时设置目录的权限 |
-z | 设置安全上下文 |
-v | 显示目录的创建过程 |
[root@master ~]# mkdir folder
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 2 root root 6 Sep 9 21:44 folder
drwxr-xr-x 3 root root 24 Sep 9 18:23 notebooks
[root@master ~]# ls -l folder/
total 0
[root@master ~]# mkdir -p folder/subfolder
[root@master ~]# ls -l folder/
total 0
drwxr-xr-x 2 root root 6 Sep 9 21:45 subfolder
[root@master ~]#
5、验证cp、mv和rm命令
cp意思为copy,用于将一个或多个文件或目录复制到指定位置。
语法格式:cp [参数] 源文件 目标文件
常用参数:
参数 | 说明 |
---|---|
-f | 若目标文件已存在,则会直接覆盖原文件 |
-i | 若目标文件已存在,则会询问是否覆盖 |
-p | 保留源文件或目录的所有属性 |
-r | 递归复制文件和目录 |
mv意思为move,用于对文件进行剪切和重命名。
语法格式:mv [参数] 源文件 目标文件
常用参数:
常用参数 | 说明 |
---|---|
-i | 若存在同名文件,则向用户询问是否覆盖 |
-f | 覆盖已有文件时,不进行任何提示 |
-b | 当文件存在时,覆盖前为其创建一个备份 |
-u | 当源文件比目标文件新,或者目标文件不存在时,才执行移动此操作 |
rm意思为remove,用于删除文件或目录,一次可以删除多个文件,或递归删除目录及其内的所有子文件。rm命令要谨慎的使用。
语法格式:rm [参数] 文件
常用参数:
参数 | 说明 |
---|---|
-f | 强制删除(不二次询问) |
-i | 删除前会询问用户是否操作 |
-r/R | 递归删除 |
-v | 显示指令的详细执行过程 |
[root@master ~]# cd /home/
[root@master home]# ls -l
total 0
[root@master home]# cp /root/dataset/area.csv /home/
[root@master home]# ls -l
total 272
-rw-r--r-- 1 root root 277422 Sep 9 22:00 area.csv
[root@master home]# cp /root/dataset/* /home/
cp: overwrite ‘/home/area.csv’? y
[root@master home]# cp -r /root/folder/ /home/
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root 277422 Sep 9 22:00 area.csv
drwxr-xr-x 3 root root 23 Sep 9 22:01 folder
-rw-r--r-- 1 root root 1933320 Sep 9 22:00 weather.csv
[root@master home]# mv area.csv area-bak.csv
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root 277422 Sep 9 22:00 area-bak.csv
drwxr-xr-x 3 root root 23 Sep 9 22:01 folder
-rw-r--r-- 1 root root 1933320 Sep 9 22:00 weather.csv
[root@master home]# mv folder newfolder
[root@master home]# ls -l
total 2164
-rw-r--r-- 1 root root 277422 Sep 9 22:00 area-bak.csv
drwxr-xr-x 3 root root 23 Sep 9 22:01 newfolder
-rw-r--r-- 1 root root 1933320 Sep 9 22:00 weather.csv
[root@master home]# rm weather.csv
rm: remove regular file ‘weather.csv’? y
[root@master home]# ls -l
total 272
-rw-r--r-- 1 root root 277422 Sep 9 22:00 area-bak.csv
drwxr-xr-x 3 root root 23 Sep 9 22:01 newfolder
[root@master home]# rm -f area-bak.csv
[root@master home]# ls -l
total 0
drwxr-xr-x 3 root root 23 Sep 9 22:01 newfolder
[root@master home]# rm -rf newfolder/subfolder/
[root@master home]# ls -l newfolder/
total 0
[root@master home]# touch a.txt b.txt c.txt touch命令创建空文件
[root@master home]# ls -l
total 0
-rw-r--r-- 1 root root 0 Sep 9 22:09 a.txt
-rw-r--r-- 1 root root 0 Sep 9 22:09 b.txt
-rw-r--r-- 1 root root 0 Sep 9 22:09 c.txt
drwxr-xr-x 2 root root 6 Sep 9 22:08 newfolder
[root@master home]# rm -rf *
[root@master home]# ls -l
total 0
[root@master home]#
三、Linux文件操作
1、验证touch命令
touch命令的功能是用于创建空文件与修改时间戳。如果文件不存在,则会创建出一个空内容的文本文件;如果文件已经存在,则会对文件的访问时间和修改时间进行修改操作,管理员可以完成此项工作,而普通用户只能管理主机的文件。
语法格式:touch [参数] 文件
参数 | 说明 |
---|---|
-a | 改变档案的读取时间记录 |
-m | 改变档案的修改时间记录 |
-r | 使用参考档的时间记录,与 --file 的效果一样 |
-c | 不创建新文件 |
-d | 设定时间与日期,可以使用各种不同的格式 |
-t | 设定档案的时间记录,格式与 date 命令相同 |
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 22:13 notebooks
[root@master ~]# touch yunchuang.txt
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 22:13 notebooks
-rw-r--r-- 1 root root 0 Sep 9 22:20 yunchuang.txt
[root@master ~]# touch yunchuang.txt
[root@master ~]# ls -l
total 4
-rw------- 1 root root 3302 Jun 1 2018 anaconda-ks.cfg
drwxr-xr-x 2 root root 41 Jul 3 2018 dataset
drwxr-xr-x 3 root root 24 Sep 9 22:13 notebooks
-rw-r--r-- 1 root root 0 Sep 9 22:20 yunchuang.txt
[root@master ~]#
2、验证cat命令
cat意思为concatenate,用于
查看文件内容,cat命令适用于查看内容较少的、纯文本的文件。
语法格式:cat [参数] 文件
常用参数:
参数 | 说明 |
---|---|
-n | 显示行数(空行也编号) |
-s | 显示行数(多个空行算一个编号) |
-b | 显示行数(空行不编号) |
-E | 每行结束处显示$符号 |
-T | 将TAB字符显示为 ^I符号 |
–help | 显示帮助信息 |
–version | 显示版本信息 |
[root@master ~]# cat anaconda-ks.cfg
#version=DEVEL
# Install OS instead of upgrade
install
# Use network installation
url --url="http://mirrors.kernel.org/centos/7/os/x86_64/"
repo --name="CentOS" --baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=100
repo --name="Updates" --baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ --cost=100
cmdline
# Firewall configuration
firewall --disabled
firstboot --disable
# Keyboard layouts
# old format: keyboard us
# new format:
keyboard --vckeymap=us --xlayouts='us'
# System language
lang en_US.UTF-8
# Network information
network --bootproto=dhcp --device=link --activate
# Shutdown after installation
shutdown
# Root password
rootpw --iscrypted --lock locked
# SELinux configuration
selinux --enforcing
# System services
services --disabled="chronyd"
# Do not configure the X Window System
skipx
# System timezone
timezone UTC --isUtc --nontp
# System bootloader configuration
bootloader --disabled
# Clear the Master Boot Record
zerombr
# Partition clearing information
clearpart --all --initlabel
# Disk partitioning information
part / --fstype="ext4" --size=3000
%pre
touch /tmp/NOSAVE_LOGS
touch /tmp/NOSAVE_INPUT_KS
%end
%post
# Post configure tasks for Docker
# remove stuff we don't need that anaconda insists on
# kernel needs to be removed by rpm, because of grubby
rpm -e kernel
yum -y remove bind-libs bind-libs-lite dhclient dhcp-common dhcp-libs \
dracut-network e2fsprogs e2fsprogs-libs ebtables ethtool file \
firewalld freetype gettext gettext-libs groff-base grub2 grub2-tools \
grubby initscripts iproute iptables kexec-tools libcroco libgomp \
libmnl libnetfilter_conntrack libnfnetlink libselinux-python lzo \
libunistring os-prober python-decorator python-slip python-slip-dbus \
snappy sysvinit-tools which linux-firmware GeoIP firewalld-filesystem
yum clean all
#clean up unused directories
rm -rf /boot
rm -rf /etc/firewalld
# Lock roots account, keep roots account password-less.
passwd -l root
#LANG="en_US"
#echo "%_install_lang $LANG" > /etc/rpm/macros.image-language-conf
awk '(NF==0&&!done){print "override_install_langs=en_US.utf8\ntsflags=nodocs";done=1}{print}' \
< /etc/yum.conf > /etc/yum.conf.new
mv /etc/yum.conf.new /etc/yum.conf
echo 'container' > /etc/yum/vars/infra
##Setup locale properly
# Commenting out, as this seems to no longer be needed
#rm -f /usr/lib/locale/locale-archive
#localedef -v -c -i en_US -f UTF-8 en_US.UTF-8
## Remove some things we don't need
rm -rf /var/cache/yum/x86_64
rm -f /tmp/ks-script*
rm -rf /var/log/anaconda
rm -rf /tmp/ks-script*
rm -rf /etc/sysconfig/network-scripts/ifcfg-*
# do we really need a hardware database in a container?
rm -rf /etc/udev/hwdb.bin
rm -rf /usr/lib/udev/hwdb.d/*
## Systemd fixes
# no machine-id by default.
:> /etc/machine-id
# Fix /run/lock breakage since it's not tmpfs in docker
umount /run
systemd-tmpfiles --create --boot
# Make sure login works
rm /var/run/nologin
#Generate installtime file record
/bin/date +%Y%m%d_%H%M > /etc/BUILDTIME
%end
%packages --excludedocs --nocore --instLangs=en
bash
bind-utils
centos-release
iproute
iputils
less
passwd
rootfiles
systemd
tar
vim-minimal
yum
yum-plugin-ovl
yum-utils
-*firmware
-GeoIP
-bind-license
-firewalld-filesystem
-freetype
-gettext*
-kernel*
-libteam
-os-prober
-teamd
%end
[root@master ~]#
3、验证more命令
more命令用于分页显示文本文件内容,如果文本文件中的内容较多较长,使用cat命令读取后则很难看清,这时使用more命令进行分页查看就更加合适了,可以把文本内容一页一页的显示在终端界面上,用户每按一次回车即向下一行,每按一次空格即向下一页,直至看完为止。
语法格式:more [参数] 文件
常用参数:
参数 | 说明 |
---|---|
-num | 指定每屏显示的行数 |
-f | 计算实际的行数,而非自动换行的行数 |
-p | 先清除屏幕再显示文本文件的剩余内容 |
-c | 与-p相似,不滚屏,先显示内容再清除旧内容 |
-s | 多个空行压缩成一行显示 |
-u | 禁止下划线 |
验证cat命令时,由于anaconda-ks.cfg文件内容过多,屏幕自动刷到了文件底端,导致前面的文件无法正常展示,因此,键入如下命令来验证more和cat的区别。
[root@master ~]# more anaconda-ks.cfg
#version=DEVEL
# Install OS instead of upgrade
install
# Use network installation
url --url="http://mirrors.kernel.org/centos/7/os/x86_64/"
repo --name="CentOS" --baseurl=http://mirror.centos.org/centos/7/os/x86_64/ --cost=
100
repo --name="Updates" --baseurl=http://mirror.centos.org/centos/7/updates/x86_64/ -
-cost=100
cmdline
# Firewall configuration
firewall --disabled
firstboot --disable
# Keyboard layouts
# old format: keyboard us
# new format:
keyboard --vckeymap=us --xlayouts='us'
# System language
lang en_US.UTF-8
# Network information
network --bootproto=dhcp --device=link --activate
# Shutdown after installation
shutdown
--More--(19%)
四、最后我想说
本次的实验就到此为止,本次实验的目的就是熟悉Linux常用基本命令的,后续实验也会经常使用这些简单的命令进行组合,熟能生巧,多用用就记住了。
后续我也会继续更新我的大数据学习过程的,和大家一起慢慢去了解并学习有关大数据的一些知识。
最后,创作不易,期待得到你们的支持,谢谢!