Hadoop

岗位职责
1、搭建和维护Hadoop集群，保证集群规模持续、稳定地扩容
2、维护Hadoop源码，即时修复集群BUG或者进行源代码优化
3、跟进开源社区Hadoop的功能，及时了解新的特性和功能，并有选择地应用
4、支持数据开发的同事，解决相应的问题，比如及时地查找问题并给出改进的建议
5、开发相关可用于诊断集群健康问题的工具，方便及时地发现各类问题
6、对集群使用进行权限控制，定期培训集群使用方面的经验

任职资格
1、五年以上Java开发经验；三年以上分布式系统架构设计经验
2、2年以上Hadoop源码的开发经验，深刻理解Hadoop运作机制，能快速定位BUG并进行修复
3、了解Hadoop各种文件存储模式，能够利用最小的资源存储更多的数据
4、有Hadoopnamenode和jobtracker的优化经验，深入了解nn和jt的工作机制，有能力搭建并维护一个高稳定行、高性能的计算和存储集群
5、能够精确统计集群资源的使用率，能够发现集群瓶颈所在，能够评估后续的集群规模，有一定的硬件知识，能够规划集群所使用的机器和配置
6、熟悉hive/pig/hbase/oozie/zookeeper等基于Hadoop的应用，熟悉各种开源软件技术
7、了解其他nosql技术，充分掌握目前互联网行业使用的各项云计算的技术
8、良好的沟通能力，很强的问题解决能力，很强的风险控制意识

 

岗位职责
1、负责数据平台基础系统的设计，如数据采集系统、数据交换、调度、监控、告警、元数据、分布式查询系统
2、完成核心模块的开发工作，解决系统开发中的技术难点，指导普通开发人员进行高效的工作
3、编写软件架构和详细设计文档，编写项目计划并推进项目进度
4、完成高可用系统的设计方案，保证系统的稳定性和高性能

任职资格
1、5年以上java/c++的开发经验，必须是编程方面的高手
2、精通struts2/struts、hibernate/ibatis、spring等开源框架
3、精通现有主流数据库的接口，如oracle/mysql/sqlserver等，可以开发相应的dump和load工具
4、熟悉tomcat、jboss等应用服务器，熟悉apache/ngnix等主流的webservice
5、熟悉各种开源框架，能够充分利用开源框架开发高可靠、高性能的应用系统，如zookeeper/thrift/quartz/mina/activemq等
6、熟悉目前主流的云计算框架，如hadoop/hive/hbase/pig/cassandra，熟悉开源的keyvalue系统
7、能够熟练使用目前主流的缓存系统，如memcashe，并能够基于缓存系统开发高性能查询和计算系统
8、精通各种网络协议，并掌握目前主流的开源网络协议框架
9、拥有丰富的分布式系统和多线程开发经验，能够胜任高性能、高可用的系统设计和开发
10、熟悉敏捷软件开发的思想和流程，具有较强的沟通能力、解决问题能力、团队协调能力、项目控制能力