大数据简历 专业技能内容

1
深刻理解HDFS分布式文件系统存储结构和高可用原理

2

熟练掌握hadoop mapreduce计算框架编程，对yarn的资源调度，作业监控有一定认识

3

掌握storm streaming编程，对定时批量任务处理，分布式rpc有一定认识

4

深刻了解Spark底层运行机制，

4

熟练掌握scala编程，能运用scala进行spark RDD，spark streaming编程

5

熟悉flume，kafka等日志收集，分发框架的使用，能够将他们和storm，spark进行整合进行数据的实时处理

6

能够熟练运用hive数据仓库工具，对日志数据进行查询，统计等数据操作，并且有一定的数据优化经验

7

能将hive和spark sql进行整合，进行数据查询等相关操作

8

熟悉hbase数据库的使用，及其编程

9

熟悉redis内存数据库，能搭建redis高可用集群及其编程

10

熟悉ELK技术栈，了解ElasticSearch，Logstash的整合使用

11

掌握Sqoop数据迁移工具的使用，能熟练的将数据从不同的存储介质进行迁移

12

了解linux系统，熟悉常用的linux的shell命令，能在linux系统下搭建开发环境

13

熟练掌握JavaSE，深刻理解面向对象设计思想，熟练使用IO流操作和集合框架，网络编程等JavaSE主流技术。

14

能使用反射、注解、动态代理等Java高级技术，对代码的封装抽取及其性能优化有点一定的经验。

15

熟悉Struts，Spring，Hibernate，Servlet，Jsp等WEB编程技术

16

能熟练使用Oracle，MySql主流数据库技术，擅长SQL语句的编写