2017年02月_快乐真真

转载大数据工程师面试题(七)

9. 面试问题:1.从前到后从你教育背景(学过哪些课)到各个项目你负责的模块,问的很细(本以为他是物理学博士,但是所有的技术都懂)2.hadoop 的 namenode 宕机,怎么解决先分析宕机后的损失，宕机后直接导致client无法访问，内存中的元数据丢失，但是硬盘中的元数据应该还存在，如果只是节点挂了，重启即可，如果是机器挂了，重启机器后看节点是否能重启，不能重启就要找到原

2017-02-26 10:02:59 40703 2

转载大数据工程师面试题(六)

3.141、一个Hadoop环境，整合了HBase和Hive，是否有必要给HDFS和Hbase都分别配置压缩策略？请给出对压缩策略的建议。hdfs在存储的时候不会将数据进行压缩，如果想进行压缩，我们可以在向hdfs上传数据的时候进行压缩。1）、采用压缩流//压缩文件public static void compress(String codecClassName) throw

2017-02-26 09:28:33 3943

转载大数据工程师面试题(五)

2）HashMap和HashTable，ArrayList和Vector，ArrayList和LinkedList的区别1 HashMap不是线程安全的hashmap是一个接口是map接口的子接口，是将键映射到值的对象，其中键和值都是对象，并且不能包含重复键，但可以包含重复值。HashMap允许null key和null value，而hashtable不允许。2 HashTa

2017-02-26 08:46:01 2733

转载大数据工程师面试题(四)

2.23. 我们开发job时，是否可以去掉reduce阶段。可以。设置reduce数为0 即可。2.24. datanode在什么情况下不会备份datanode在强制关闭或者非正常断电不会备份。2.25. combiner出现在那个过程出现在map阶段的map方法后等。2.26. hdfs的体系结构hdfs有namenode、secondraynamenode、data

2017-02-19 16:29:53 8053 4

转载大数据工程师面试题(三)

2.13. 简述hadoop的调度器FIFO schedular：默认，先进先出的原则Capacity schedular：计算能力调度器，选择占用最小、优先级高的先执行，依此类推Fair schedular：公平调度，所有的job具有相同的资源。2.14. 列出你开发mapreduce的语言java2.15. 书写程序wordcountmapper：Strin

2017-02-19 15:39:42 7592

转载大数据工程师面试题(二)

2.7. 用mapreduce来实现下面需求？现在有10个文件夹,每个文件夹都有1000000个url.现在让你找出top1000000url。方法一：运用2个job，第一个job直接用filesystem读取10个文件夹作为map输入，url做key，reduce计算url的sum，下一个job map用url作key，运用sum作二次排序，reduce中取top1000000

2017-02-19 14:17:12 5090

转载大数据工程师面试题(一)

1. 选择题1.1. 下面哪个程序负责 HDFS 数据存储。c)Datanode 答案 C datanode1.2. HDfS 中的 block 默认保存几份？a)3 份答案 A 默认 3 份1.3. 下列哪个程序通常与 NameNode 在一个节点启动？d)Jobtracker答案 D1.4. HDFS 默认 Block Sizec)12

2017-02-19 13:46:40 14254 5

NLP学习者，通用人工智能实践者