《大数据工程师(存储)面试系列(3)》

15 篇文章 2 订阅
11 篇文章 13 订阅

1.固态硬盘为什么会比机械硬盘快?


固态硬盘为什么会比机械硬盘快


2.闪存(flash)的实现原理?


flash百度百科


3.Python在爬取网页的时候用到的库?将网页中的,全部替换为.如何实现?网页中的图片如何爬取?


①urllib

②re.sub:


③右键查看源码,找到图片的相应匹配规则(当时想的深了,想着图片的编码怎么在爬取的时候转换和普通文本一致。。。。)比如jpg文件那么.jpg就是一个很好的匹配过滤条件,以爬取百度图片-------hello为例:


图形页面:




源码界面:




具体爬取方式:

Python爬虫爬取网页图片


4.利用MapReduce实现group by的功能?


MapReduce实现基本SQL操作的原理-join和group by,以及Dinstinct


5.Hive与HBase的区别?


之前看过一篇文章,所以就着文章笃定的答道:Hive是遍历全表查询的,忽略了前提条件,可以说是不严谨,那个前提条件就是Hive不做分区表的情况下:


HBase 与 Hive 的区别和关系

hive与hbase的联系与区别

hive中partition如何使用


6.什么是ETL?


ETL百度百科

数据清洗百度百科

脏数据百度百科

元数据百度百科


7.Sqoop在超大数据的情况下,性能不佳,如何解决?


这个问题不是面试官问我的,而是出于疑惑,我请教面试官的,因为之前的一些面试,都谈到Sqoop好不好用这个问题?基于Sqoop 的使用效果,我垂直搜索了一下,发现,无非两类:一是Sqoop2较Sqoop1的架构上的演进,以及Sqoop和淘宝的DataX,还有Kettel相比性能之优越,插件之丰富,然而我要的是关于Sqoop的一些负面的文章,垂直搜索的时候并没有搜到。请教了面试官后,面试官给出了解答:Spark dataFrame,大量异构数据同步的一种框架级解决方案!!!


Hadoop教程:Hadoop数据传输工具Sqoop

大数据同步工具DataX与Sqoop之比较

Spark DataFrame小试牛刀


8.HBase二级索引如何建立?


HBase二级索引的设计(案例讲解)


评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

司小幽

真诚赞赏,手留余香。

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值