持续分享有用、有价值、精选的优质大数据面试题
致力于打造全网最全的大数据面试专题题库
41、NodeManager节点会将当前节点的DataNode实时上报给RescourceManager，但您之前说HDFS集群的唯一访问入口是NameNode，那是否每台NodeManager在收集本地的DataNode数据时都得访问NameNode获取呢？如果是的话也太浪费HDFS性能了吧，如果不是那是NodeManager是采用什么机制实现不经过NameNode就能获取一个DataNode的数据呢？
参考答案：
“NodeManager节点会将当前节点的DataNode实时上报给RescourceManager”,这个说法是不对的，应该是DataNode上报自己的block给NameNode，RescourceManager和NodeManager管的是资源而不是数据。当作业要读取hdfs数据的时候仅仅从NameNode上获取数据的位置，而不会获取数据本身，得到数据的位置后作业再去找DataNode获取数据本身。
42、CDH 是开源的产品，但是 CM 是付费的呀，我们在生产环境中使用 CM 没有向 cloudera 公司交钱是否会收到律师函呢？但是不用 CM 我们又不知道如何管理(搭建，扩容，监控等)CDH 集群了，如果公司不愿意交钱的话我们大数据运维该如何处理呢？
参考答案：
以后都没有免费的了，不愿意交钱的话可以使用开源社区版，节点不多的话可以人肉运维，自搭建监控平台，节点多的话自己可以写脚本或借助自助化工具运维，比如 ansible 等。
43、ElasticSearch和HDFS都是分布式文件系统，也都可以做数据存储和检索功能，也都是JAVA开源产品，为什么在大数据领域中HDFS比ES更火呢？
参考答案：
这两个组件没有可比性，应对的场景不一样，HDFS应用于海量数据存储，ES应用于全文搜索，在电商和搜索引擎用的多
44、开发人员在hive中创建的元数据表信息该如何实时监控呢？
参考答案：
可以使用阿里开源的Canal来实时读取Hive的元数据库mysql的binlog数据，达到实时监控表的变更操作。
45、HDFS的数据被删除没法直接被监控，企业中该如何避免开发人员误删除数据免得咱们运维背锅呢？
参考答案：
打开审计日志，并使用filebeat采集然后写入ES中，可以实时查询所有数据的操作。
46、大数据安全，权限管理，审计是否有一套完整的解决方案呢？
参考答案：
目前老师所知，没有一套完整方案，可能商业化产品有，大数据安全可以大概有边界网关的安全，比如云桌面、VPN等，其次是大数据组件自己的安全。
47、生产环境中我们有必要利用 CM 的"图表生成器"来自定义图标形成仪表盘吗?如果有必要，官方提供的度量值太多了，您在是生产环境中都定义了哪些监控图标呢?
参考答案：
这个我们会在正式课中 CM 监控章节进行讲解，主要是主机以及各个组件的核心指标，当出现问题之后再去查看其他指标即可。
48、前面我的问题是想了解，冷热数据文件类型与存储压缩，是两个点，老师仅回复了压缩。压缩层，这个细想，它就仅与 CPU 挂钩，没有过多好探讨的，目前 我 好 奇 的 是 对 于 1000 规 模 的 集 群 文 件 存 储 类 型 的 选 择 。ORC,TEXT,Parquert 等这些，都是基于哪方面设计层的。
参考答案：
我们采集的数据格式是 snappy, 可以认为是 ODS 层；沉淀数据用的 gz;parquet不是不适合数仓，而是对数仓的特定分层来说优势没有体现出来，parquet是当只关注表中的极少的字段的时候优势很明显，在数仓中的ODS、DWD层都是要关注表的几乎所有字段的，这个时候parquet的优势不明显，在DM层和OLAP优势还是比较明显的。
49、集群出现故障如何实现自动修复呢?比如一个 DataNode 在凌晨 2 点半突然挂了 4 个节点，那时候咱们运维人员已经进入深度睡眠状态，如何让其自动将该节点进程自动拉起呢(此处我们假设进程存放则被成功启动)？
参考答案：
我们采集了 CDH 的严重事件，更加严重事件盘点是否有 datanode 挂掉了，如果有则调研 CDH API 启动 datanode。此外我们每天都有人轮流值班的。
50、缺少大一统的开源监控解决方案，各公司都得自行研发相关的大数据监控平台吗？
参考答案：
一般是开源加二次开发，很难有完美的方案。
1774
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
