个人技能
1
深刻理解
hdfs
分布式文件系统存储结构和高可用原理
2
熟练掌握
hadoop mapreduce
计算框架编程,对
yarn
的资源调度,作业监控有一定认识
3
掌握
storm streaming
编程,对定时批量任务处理,分布式
rpc
有一定认识
4
深刻了解
Spark
底层运行机制,
4
熟练掌握
scala
编程,能运用
scala
进行
spark RDD
,
spark streaming
编程
5
熟悉
flume
,
kafka
等日志收集,分发框架的使用,能够将他们和
storm
,
spark
进行整合
进行数据的实时处理
6
能够熟练运用
hive
数据仓库工具,对日志数据进行查询,统计等数据操作,并且有一定
的数据优化经验
7
能将
hive
和
spark sql
进行整合,进行数据查询等相关操作
8