实施运维面试题

Geneartion_Z

已于 2023-04-24 09:23:57 修改

阅读量4.1k

点赞数 6

分类专栏： linux 数据库文章标签：运维 hadoop 大数据

于 2022-08-28 23:48:06 首次发布

本文链接：https://blog.csdn.net/Geneartion_Z/article/details/126575267

版权

数据库同时被 2 个专栏收录

7 篇文章 0 订阅

订阅专栏

linux

2 篇文章 0 订阅

订阅专栏

为什么要用数仓

数据仓库是一种分析数据库，用于存储和处理数据，以便对数据进行分析。数据仓库有两个主要功能：存储分析数据和处理分析数据。
1、分析数据来自于不同的系统
2、需要将分析数据与事务数据分离
3、原始数据源不适合用来查询
这时候就需要创建数仓

数仓和数据库的区别

数据库承担简单的查询，而数仓的分析工作有一些重量级的查询
他们的数据库底层设计也是非常不一样的。业务数据库的优化目标是高并发的快速短查询，而数仓分析数据库的优化目标是长时间运行的资源密集型查询。

你能简单介绍下hadoop都有什么组件吗，都有什么作用？

Hadoop的功能是用来存储海量数据的，可以把他简单看做一个提供服务的软件

狭义来看hadoop由大数据分布式文件存储系统HDFS，资源调度平台YARN，和分布式计算MapReduce三个组件组成。数据存储就是在HDFS中

广义来看就是hadoop生态组件，最底层作为支撑的hdfs文件存储系统（全拼，不用背hadoop data file system）,yarn资源管理系统，hive数仓工具（能够使用sql操作hdfs），HBASE（nosql数据库），，kafka（消息队列），zookper（分布式协作服务），flume(数据收集)等

你是怎么使用Hadoop的

在ETL工具中配置好数据源，直接在表输入或者表输出组件中使用

hadoop集群是怎么搭建在多个服务器上的

hadoop集群由HDFS集群和YARN集群构建,这两个集群物理上在一起，但是逻辑分离，二者之间没有依赖，互不影响
先让几台服务器做好映射、做好免密配置、做好时间同步
以三台服务器为例，
HDFS集群
第一台服务器防止NameNode主节点，和DataNode数据节点
第二台服务器放置SecondNameNode,DataNode
第三台服务器放置DataNode
YARN集群
第一台服务器放置ResourcesManager
第二三台放置NodeManager
我当时搭建的时候，是给的一个shell脚本，能够一键式安装搭建
在这里插入图片描述

这几个节点的作用是什么

namenode作为管理节点，它负责整个文件系统的命名空间，并且维护着文件系统树和整棵树内所有的文件和目录，这些信息以两个文件的形式（命名空间镜像文件和编辑日志文件）永久存储在namenode 的本地磁盘上。
datanode作为文件系统的工作节点，根据需要存储并检索数据块，定期向namenode发送他们所存储的块的列表

怎么启动和停止hadoop集群

在主节点上，用软件自带的shell脚本一键启动，前提：配置好机器的SSH免密登录和workers文件

HDFS集群
	start-dfs.sh
	stop-dfs.sh
YARN集群
	start-yarn.sh
	stop-yarn.sh
Hadoop集群
	start-all.sh
	stop-all.sh

其他的问到Hadoop的

就说其他的就不太清楚了，因为当时只是进行一些安装以及操作，只是用到它来存储，没有深入去操作过

常用的Linux命令

ps -ef |grep tomcat 查看具体进程的id
kill -9 pid 强制结束进程
tail -f 动态监控日志
top -h 查看所有进程的cpu、内存占用情况
df -h 查看磁盘占用情况
free -h 查看内存占用
tar -zxvf 解压
tar -zcvf 压缩

Linux下根都有哪些目录，都有什么用处

/bin 存放可执行文件的
/boot 存放系统启动用的核心文件，镜像文件等
/dev 存放linux外部设备
/ROOT root用户的home
/home 非root用户的home
/var 存储日志
/usr 下载文件默认位置
/opt 给主机额外的安装软件放置的位置，一般oracle等程序都放在这里
在这里插入图片描述

Linux权限

在Linux属性中第一位表示文件的类型，2—10位表示权限,三个为一组
权限r w x - 分别表示的含义为：
i.读（r/4）：Read对文件而言，具有读取文件内容的权限；对目录来说，具有浏览该目录信息的权限
ii.写（w/2）：Write对文件而言，具有修改文件内容的权限；对目录来说具有删除移动目录内文件的权限
iii.执行（x/1）：execute对文件而言，具有执行文件的权限；对目录来说，具有进入目录的权限
iv.“—”表示不具有该项权限

r-x r-x —
拥有者的权限所属组的权限其他人的权限

下列例子：第一位来看，这是一个目录
2-4位看，对于拥有者来说，®该目录可以浏览、(-)不可以删除或者移动目录内文件，(x)可以进入目录。
5-7位看，对于所属组，一样的权限
最后三位，对于其他人来说，没有任何权限
在这里插入图片描述
给其他人赋权怎么做？
1、使用rwx表示对应权限