[面试]-- 大数据常见面试题汇总（一）

最新推荐文章于 2024-04-29 20:29:34 发布

往事随风ing

最新推荐文章于 2024-04-29 20:29:34 发布

阅读量3.2w

点赞数 12

分类专栏：找工作文章标签：大数据面试题

本文链接：https://blog.csdn.net/high2011/article/details/51594928

版权

找工作专栏收录该内容

35 篇文章 10 订阅 ¥19.90 ¥99.00

订阅专栏

超级会员免费看

本文汇总了大数据面试中的常见问题，包括使用Mr、Spark和Spark SQL编写Word Count程序，Hive的内外部表、分区作用、UDF和优化策略，Hbase的RowKey设计与优化，Linux常用操作，Java线程实现、设计模式，以及Hadoop相关知识点。此外，还涵盖了面试中可能遇到的Hadoop任务配置、Hadoop生态系统、系统维护、JVM运行机制、参数调优等内容。

摘要由CSDN通过智能技术生成

生活的本质就是快乐地分享，引导技术往熟悉的地方引导

回答问题需要做到：简洁、痛点

大数据的本质：从数据中挖掘价值
云计算的本质：共享服务

【某公司笔试面试题】
1\使用mr，spark ,spark sql编写word count程序
【Spark 版本】
val conf=new SparkConf().setAppName("wd").setMaster("local[1]")
val sc=new SparkContext(conf,2)
//加载
val lines=sc.textFile("tructField("name",DataTypes.StringType,true)")
val paris=lines.flatMap(line=>line.split("^A"))
val words=paris.map((_,1))
val result=words.reduceByKey(_+_).sortBy(x=>x._1,false)

//打印
result.foreach(
wds=>{
println("单词："