![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
hadoop
文章平均质量分 77
海中大咸鱼
这个作者很懒,什么都没留下…
展开
-
Kafka常见面试题
Kafka数据积压如何处理增加topic分区,增加消费者,增加了消费线程,为了消费更快 如果当天有重要的活动,可以考虑业务降级,暂时关闭不重要的业务Kafka为什么没有设计读写分离读写分离目的是承载更多的数据流量,分担主库的压力,应用场景通常为读多写少,kafka为什么不用这种存储架构来提升性能呢 kafka读写比例均衡,基本上就是生成者写入数据,消费者读取数据 读写分离架构也会有些问题 ...原创 2022-04-06 18:27:01 · 2038 阅读 · 0 评论 -
HDFS常见面试题
HDFS小文件问题 小文件过多有什么坏处? 主要是NameNode内存会受限。由于NameNode会将文件系统的元数据都存储在内存中,因此所能存储的文件总量受限于NameNode的内存总容量。每个文件、目录和数据块大约占150个字节,过多的小文件会大量消耗NameNode的内存量 怎么处理小文件过多的问题? 数据未上传到HDFS前的处理:从根源上解决问题,每小时抽取一次数据改为每天抽取一次数据积累数据量 数据已上传到HDFS:通过程序将小文件和并成大文件 H..原创 2022-03-28 13:44:32 · 2341 阅读 · 0 评论 -
Zookeeper常见面试题
为什么需要Zookeeper例如namenode,如果没有zk,namenode读写请求要同时向主从namenode发起请求,增加额外开销Zookeeper是什么分布式应用程序协调服务 集群的管理者,监控着集群中各个节点的状态,根据节点节点提交的反馈进行下一步合理的操作Zookeeper提供了什么文件系统 通知机制Zookeeper文件系统分层的文件存储目录树结构,不同于文件存储系统的目录,文件存储系统目录只能存储目录,而zk的节点可以存储数据,但不适合存储大量数据,最多1mZN原创 2022-03-24 14:33:13 · 2724 阅读 · 0 评论 -
大数据中常用的 Linux 命令
# 查看 cpu 占用率 top shift + p 按照 cpu 占有率排序 shift + m 按照 内存 使用情况排序 # 查看内存使用情况 free -h 知识点1:为程序初始内存越小越好,再给设置个最大内存,让他自己慢慢扩展 , 因为内存大,对象虽然少,但垃圾回收时太慢 知识点2:我们的磁盘阵列是 RAID10 ,既能快速写入,同时写入多个磁盘(raid1)又能安全有备份(raid2)# 查看当前系统挂载的盘都有哪些 df -h# 查看各个...原创 2021-05-11 15:10:58 · 112 阅读 · 0 评论