大数据面试题
编程有了模型
一个专注于用模型树学习法搭建计算机领域基础理论知识体系的专栏。
展开
-
大数据面试题-JavaSE
1、String 、StringBuffer、StringBuilder 区别及底层实现 1、String是字符串常量, StringBuffer、StringBuilder是字符串变量 2、StringBuffer线程安全(方法用了synchronized修饰)、StringBuilder线程不安全 3、底层都是char[],String用了final 修饰,后二者初始...原创 2019-07-22 10:40:10 · 447 阅读 · 0 评论 -
大数据面试题-Linux
1、列举Linux中查看系统性能的工具(区分CPU、内存、磁盘、网络等) iostat监测IO状态 top查看进程 free 查看内存 vmstat 可以展现给定时间间隔的服务器的状态值,包括服务器的CPU使用率,内存使用,虚拟内存交换情况,IO读写情况 fping查看即时网络 df 查看硬盘 2、Linux默认栈空间有多大?...原创 2019-07-22 10:40:27 · 324 阅读 · 0 评论 -
大数据面试题-HDFS
1、什么是大数据? 可以从数据的“5V”特性来进行阐述: 一、Volume:数据量大,包括采集、存储和计算的量都非常大。大数据的起始计量单位至少是P(1000个T)、E(100万个T)或Z(10亿个T)。 二、Variety:种类和来源多样化。包括结构化、半结构化和非结构化数据,具体表现为网络日志、音频、视频、图片、地理位置信息等等,多类型的数据对数据的处理能力提出了更高...原创 2019-07-22 10:40:37 · 804 阅读 · 1 评论 -
大数据面试题-MapReduce&YARN
1、mapreduce流程? Map阶段: 1:读取输入文件的内容,并解析成键值对(<key, value>)的形式,输入文件中的每一行被解析成一个<key, value>对,每个<key, value>对调用一次map()函数。 2:用户写map()函数,对输入的<key,value>对进行处理,并输出新的<key,...原创 2019-07-22 10:40:45 · 764 阅读 · 0 评论 -
大数据面试题-Hive
1、udf,udaf,udtf的区别? Hive中有三种UDF: 1、用户定义函数(user-defined function)UDF; 2、用户定义聚集函数(user-defined aggregate function,UDAF); 3、用户定义表生成函数(user-defined table-generating function,U...原创 2019-07-22 10:39:44 · 349 阅读 · 0 评论 -
大数据面试题-HBase
1、HBase中rowkey的设计原则? 建议使用String如果不是特殊要求,RowKey最好都是String。 方便线上使用Shell查数据、排查错误 更容易让数据均匀分布 不必考虑存储成本 RowKey的长度尽量短。如果RowKey太长话,第一是,存储开销会增加,影响存储效率;第二是,内存中Rowkey字段过长,内存的利用率会降低,这会降低索引命中率。 一般的做法是: 时间...原创 2019-07-22 10:39:29 · 668 阅读 · 0 评论 -
Hive面试题
注:hive-03中的内容Hive面试题一:现有这么一批数据,现要求出:每个用户截止到每月为止的最大单月访问次数和累计到该月的总访问次数三个字段的意思:用户名,月份,访问次数A,2015-01,5A,2015-01,15B,2015-01,5A,2015-01,8B,2015-01,25A,2015-01,5A,2015-02,4A,2015-02,6B,2...原创 2019-07-22 10:39:16 · 259 阅读 · 0 评论