真传一句话，假传万卷书

大道至简

1.Hadoop 生态圈组件介绍

Hadoop生态圈包括诸多组件，如HDFS（分布式文件系统）、MapReduce（分布式计算）、HBase（NoSQL数据库）、Hive（数据仓库工具）等，用于大规模数据存储、处理和分析。

2.重点介绍mapreduce概述

MapReduce是Hadoop的分布式计算框架，通过将任务分解为Map和Reduce两个阶段，实现大规模数据处理。Map负责数据拆分和映射，Reduce进行汇总和结果输出。

3.重点介绍spark技术特点和概述（运行架构与原理可参考书本·11页）

Apache Spark是一种快速、通用的大数据处理引擎，具有内存计算和容错机制。其技术特点包括RDD（弹性分布式数据集）的概念、运行速度快、支持多种数据处理模型。

4.对比mapreduce和spark的区别

MapReduce和Spark的区别在于Spark采用内存计算，速度更快；Spark提供更丰富的API和支持多种数据处理模型，而MapReduce相对简单。

5.结构化数据与非结构化数据是什么？

结构化数据是按照预定义的模型组织的数据，如关系数据库中的表格；非结构化数据则没有明确定义的数据模型，如文本文件或日志。

6.Linux简单操作命令实训练习（讲义里面的Linux相关命令）

 

Linux简单操作命令包括cd（切换目录）、ls（列出文件和目录）、mkdir（创建目录）、cp（复制文件）、mv（移动文件）、rm（删除文件）等，用于文件系统操作。

pwd 命令

格式：pwd

功能：显示当前所在目录（即工作目录）。

[root@localhost ~]# pwd /root

ls 命令

格式：ls [选项] [文件|目录]

功能：显示指定目录中的文件或子目录信息。当不指定文件或目录时，显示 当前工作目录中的文件或子目录信息。 命令常用选项如下： -a ：全部的档案，连同隐藏档( 开头为 . 的档案) 一起列出来。 -l ：长格式显示，包含文件和目录的详细信息。 -R ：连同子目录内容一起列出来。 说明：命令“ls –l”设置了别名：ll，即输入 ll 命令，执行的是 ls –l 4 命令。

cd 命令

格式：cd

功能：用于切换当前用户所在的工作目录，其中路径可以是绝对路径也可以 是相对路径。 [root@localhost ~]# cd /etc/sysconfig/network-scripts/

[root@localhost network-scripts]# pwd /etc/sysconfig/network-scripts

mkdir 命令

格式： mkdir [选项] 目录

功能：用于创建目录。创建目录前需保证当前用户对当前路径有修改的权 限。参数 -p 用于创建多级文件夹。 [root@localhost ~]# mkdir test

[root@localhost ~]# ls anaconda-ks.cfg test

[root@localhost ~]# mkdir -p /test/test1/test2

rm 命令

格式： rm [选项]

功能：用于删除文件或目录，常用选项-r -f，-r 表示删除目录，也可以用于 删除文件，-f 表示强制删除，不需要确认。删除文件前需保证当前用户对当 前路径有修改的权限。

[root@localhost ~]# rm -rf /test/

cp 命令

格式： cp [选项] 功能：复制文件或目录。

[root@localhost ~]# cp /etc/profile ./

[root@localhost ~]# ls anaconda-ks.cfg profile test

mv 命令

格式：mv [选项]

功能：移动文件或对其改名。常用选项-i -f -b，-i 表示若存在同名文件，则向用户 询问是否覆盖；-f 直接覆盖已有文件，不进行任何提示；-b 当文件存在时，覆盖 前为其创建一个备份。 [root@localhost ~]# ls anaconda-ks.cfg profile test

[root@localhost ~]# mv profile test/

[root@localhost ~]# ls test/ Profile

cat 命令

格式：cat [选项] [文件]

功能：查看文件内容。常用选项：-n 显示行号（空行也编号）。

[root@localhost ~]# cat -n test/profile

 

tar 命令

格式：tar [选项] [档案名] [文件或目录]

功能：为文件和目录创建档案。利用 tar 命令，可以把一大堆的文件和目录 全部打包成一个文件，这对于备份文件或将几个文件组合成为一个文件以便 于网络传输是非常有用的。该命令还可以反过来，将档案文件中的文件和目 录释放出来。 常用选项： -c 建立新的备份文件。 -C 切换工作目录，先进入指定目录再执行压缩/解压缩操作，可用于 仅压缩特定目录里的内容或解压缩到特定目录。 -x 从归档文件中提取文件。 -z 通过 gzip 指令压缩/解压缩文件，文件名为*.tar.gz。 -f 指定备份文件。 -v 显示命令执行过程。

[root@localhost ~]# ls anaconda-ks.cfg test

[root@localhost ~]# tar -cvf test.tar test test/ test/profile

[root@localhost ~]# ls anaconda-ks.cfg test test.tar

[root@localhost ~]# tar -zcvf test.tar.gz test test/ test/profile

[root@localhost ~]# ls anaconda-ks.cfg test test.tar test.tar.gz

[root@localhost ~]# tar -zxvf test.tar.gz -C /opt/ test/ test/profile

[root@localhost ~]# ls /opt/ Test

useradd 命令

格式：useradd 用户名 10

功能：创建新用户，该命令只能由 root 用户使用。

[root@localhost ~]# useradd teacher

[root@localhost ~]# id teacher uid=1000(teacher) gid=1000(teacher) 组=1000(teacher)

passwd 命令

格式：passwd 用户名

功能：设置或修改指定用户的口令。

[root@localhost ~]# passwd teacher

更改用户 teacher 的密码 。 新的 密码： 无效的密码： 密码是一个回文 重新输入新的 密码： passwd：所有的身份验证令牌已经成功更新。

chown 命令

格式：chown [选项]

功能：将文件或目录的拥有者改为指定的用户或组，用户可以是用户名或者 用户 ID，组可以是组名或者组 ID，文件是以空格分开的要改变权限的文件 列表支持通配符。选项“-R”表示对目前目录下的所有文件与子目录进行相同 的拥有者变更。

chmod 命令

格式：chmod [-R] 模式 文件或目录

功能：修改文件或目录的访问权限。选项“-R”表示递归设置指定目录下的所 有文件和目录的权限。 模式为文件或目录的权限表示，有三种表示方法。 （1） 数字表示 用 3 个数字表示文件或目录的权限，第 1 个数字表示所有者的权限，第 2个 数字表示与所有者同组用户的权限，第 3 个数字表示其他用户的权限。每类 用户都有 3 类权限：读、写、执行，对应的数字分别是 4、2、1。一个用户 的权限数字表示为三类权限的数字之和，如一个用户对 A 文件拥有读写权 限，则这个用户的权限数字为 6（4+2=6）。

[root@localhost ~]# chmod 764 test.tar.gz

[root@localhost ~]# ll 总用量 20 -rw-------.

1 root root 1241 12月 20 2021 anaconda-ks.cfg drwxr-xr-x. 2 teacher teacher 21 11月 9 23:19 test -rw-r--r--. 1 root root 10240 11月 10 00:01 test.tar -rwxrw-r--. 1 teacher teacher 1008 11月 10 00:02 test.tar.gz

（2）字符赋值 用字符 u 表示所有者，用字符 g 表示与所有者同组用户，用字符 o 表示其他 用户。用字符 r、w、x 分别表示读、写、执行权限。用等号“=”来给用户赋 权限。 示例： [root@localhost ~]# chmod u=rwx,g=rw,o=r test.tar.gz

[root@localhost ~]# ll 总用量 20 -rw-------. 1 root root 1241 12月 20 2021 anaconda-ks.cfg drwxr-xr-x. 2 teacher teacher 21 11月 9 23:19 test -rw-r--r--. 1 root root 10240 11月 10 00:01 test.tar -rwxrw-r--. 1 teacher teacher 1008 11月 10 00:02 test.tar.gz

（3）字符加减权限 用字符 u 表示所有者，用字符 g 表示与所有者同组用户，用字符 o 表示其他 用户。用字符 r、w、x 分别表示读、写、执行权限。用加号“+”来给用户加 权限，加号“-”来给用户减权限。

12 示例： [root@localhost ~]# chmod u+x,g+x,o-w test.tar.gz [root@localhost ~]# ll 总用量 20 -rw-------. 1 root root 1241 12月 20 2021 anaconda-ks.cfg drwxr-xr-x. 2 teacher teacher 21 11月 9 23:19 test -rw-r--r--. 1 root root 10240 11月 10 00:01 test.tar -rwxrwxr--. 1 teacher teacher 1008 11月 10 00:02 test.tar.gz

su 命令

格式：su [-] 用户名

功能：将当前操作员的身份切换到指定用户。如果使用选项“-”，则用户切换 后使用新用户的环境变量，否则环境变量不变。

[root@localhost ~]# su - teacher

[teacher@localhost ~]$ exit

登出