hadoop工程师要求

记录下：感觉才有点学习方向

Hadoop/Hive开发工程师（15K-30K）

工作地点：上海、杭州、深圳、北京

岗位职责：

1. 预研、开发、测试hdfs/mapreduce/hive/hbase的功能、性能和扩展；

2. 对有助于提升集群处理能力/高可用性/高扩展性的各种解决方案进行跟踪和落地；

3. 解决海量数据不断增长面临的挑战，解决业务需求。

岗位要求：

1. 计算机相关专业，精通oracle数据库，熟悉linux系统，精通pl/sql编程，熟悉shell编程；

2. 熟练运用java 集合类、io、多线程、concurrent包；

3. 熟悉jvm运行机制及内存管理、熟悉linux；

4. 熟悉hadoop、hbase、hive等软件，至少精读过其中某一个的源码；

5. 有数据仓库或互联网行业项目经验优先；

6. 能够主动获取新知识，具有较强领悟力，有系统性思考解决问题能力，能承受挫折知难而进，性格乐观，态度踏实，积极上进，具备良好的客户需求理解能力 ，良好的团队协作和优秀的沟通能力

----------------------------------------------------------------------------------------------------

职位职能:  互联网软件开发工程师

职位描述: 职位描述：  1. 负责对Hadoop集群日常运维管理、集群性能和资源利用率优化、集群常见问题能迅速定位，为开发人员提供支持 2. 对hadoop、hive、hbase等相关产品进行预研、开发、应用； 3. 负责整体提升hadoop集群的高可用性、高性能、高扩展特性； 4. 解决海量数据不断增长面临的挑战，解决业务需求。 任职要求：  1. 熟悉java集合类、io、concurrent编程； 2. 熟悉hadoop集群的搭建，管理及调优； 3. 熟悉jvm原理及内存管理； 4. 熟悉hadoop工作原理，有Hadoop、hive、Hbase、Scribe项目经验者佳； 5. 熟悉hadoop、hive、hbase等开源项目，至少精读过其中某一个的源码； 6. 熟悉Linux/Unix操作系统，熟悉脚本编程(Shell/Python/Perl其中一种）； 7. 有优秀的学习能力，具有强烈的主观能动性,性格积极乐观，诚信，有较强的语言表达能力； 8. 具备强烈的进取心、求知欲及团队合作精神 。 ------------------------------------------------------------------------------------ 高级数据挖掘（用户行为研究方向） 岗位职责： 1. 负责微博数据相关的应用开发和改进2. 负责文本特征提取、文本表示、文本分类、文本挖掘、信息提取等算法的研究和改进。3. 负责推荐引擎，频繁模式挖掘，时间序列挖掘，用户行为建模等数据挖掘算法的研究和改进4. 负责语义分析、情感分析等相关算法的研究/开发。 任职资格的具体描述： 1. 扎实的数学基础，严谨的思维逻辑。2. 熟悉常用数据挖掘算法，逻辑回归、决策树、关联规则、序列模式、时间序列、SVM、贝叶斯、聚类。3. 熟悉常用的数据挖掘软件（SAS\SPSS CLEMENTINE等）或者开源软件算法包（R等）4. 至少熟悉一种开发语言，java\c\c++\perl\python5. 4年以上工作经验，至少有两个文本挖掘项目经验。6. 熟悉互联网业务，有互联网数据挖掘项目（基于HADOOP平台）经验尤佳