[面试]-- 大数据常见面试题汇总(一)

本文汇总了大数据面试中的常见问题,包括使用Mr、Spark和Spark SQL编写Word Count程序,Hive的内外部表、分区作用、UDF和优化策略,Hbase的RowKey设计与优化,Linux常用操作,Java线程实现、设计模式,以及Hadoop相关知识点。此外,还涵盖了面试中可能遇到的Hadoop任务配置、Hadoop生态系统、系统维护、JVM运行机制、参数调优等内容。
摘要由CSDN通过智能技术生成

生活的本质就是快乐地分享,引导技术往熟悉的地方引导

回答问题需要做到:简洁、痛点

大数据的本质:从数据中挖掘价值
云计算的本质:共享服务

【某公司笔试面试题】
1\使用mr,spark ,spark sql编写word count程序

【Spark 版本】
val conf=new SparkConf().setAppName("wd").setMaster("local[1]")
val sc=new SparkContext(conf,2)
//加载
val lines=sc.textFile("tructField("name",DataTypes.StringType,true)")
val paris=lines.flatMap(line=>line.split("^A"))
val words=paris.map((_,1))
val result=words.reduceByKey(_+_).sortBy(x=>x._1,false)


//打印
result.foreach(
wds=>{
println("单词:"

评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值