python大数据运维常用脚本_大数据岗位要求之大数据运维

继续介绍大数据系列岗位要求,大数据运维可能是“技术含量最高”的职位之一,这里说的大数据运维主要是指hadoop生态体系方面的运维,在一些小公司或者传统行业的大公司也会使用oracle、db2等技术栈,在互联网行业数据量稍微大点的公司基本都是使用hadoop技术栈,像在电信或者银行领域基本上是oracle/db2、hadoop同时使用。

该文章默认是指hadoop生态技术体系,这个职位之所以说可能是“技术含量最高”,主要有2方面的因素:一,数据量和计算量的大小与运维同学的能力是呈现指数关系,当数据量不大的时候一个现学现卖的同学都可以搞得定,当数据量像BAT的量级时,这就是需要摩拜的技术大神;二,跟运维同学本身的自我要求有关,如果仅仅是看网上的教程或者使用cdh的一键安装确实没什么难度,特别是数据量不是很大的情况下,但是一个高自我要求的同学,去研究hadoop生态体系,看各种文档以及源码,这个还是非常有难度的,这是大神成长的必经之路。老套路先从几个大厂的岗位要求说起。

有赞

1、精通基于Linux系统的常用服务配置,快速部署;熟悉RHEL或CentOS系统,理解RHEL系统规范,了解epel的rpm打包规范

2、熟悉OS工作原理,掌握常用系统性能诊断工具;对CPU、MEM、IO、NET四大子系统内核参数以及程序性能优化有实战经验者优先

3、熟悉Hadoop生态常用开源项目的部署升级、扩容缩容、性能和管理优化、问题排查等(主要包括Hadoop/Zookeeper/HBase/Hive、Spark、Presto/Kafka、Flume/DataX、Sqoop/Storm、Flink等)

4、熟悉JVM,熟悉大数据周边并有实践经验者优先(主要包括 数据系统:MySQL,Redis,Elasticsearch,NewSQL等;机器学习:TensorFlow等)

5、熟练使用shell及python,并有一定开发经验;有过相关运维管理平台或自动化部署系统开发经验者优先

6、良好的沟通合作能力,热爱技术并善于钻研。能主动思考,有解决疑难问题的毅力和决心

盈盈集团

1、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理,并有3年以上Hadoop生态系统维护经验;

2、搭建、调优并维护过spark、Hive、Storm、Kafka、Redis等服务;

3、熟悉Linux开发环境,熟练掌握Java/scala/python等任一编程语言,编码能力优秀

4、能够阅读开源组件源码,手动编译、安装过patch、更改过组件源码且应用于生产环境者优先;

5、熟悉分布式系统设计范型,有大规模系统设计和工程实现者优先;

6、有CDH安装部署及运维经验者优先

7、本科及以上学历者优先

橙鹰

1、熟悉 nginx/haproxy 负载均衡,能基于 nginx 做一些插件开发

2、有mysql 数据库使用和维护经验,有使用 pg 优先

3、熟悉 php,lua 编程语言的优先

4、熟悉并参于过开源系统如zabbix,ganglia,kong网关的优先

5、具有良好的心理素质,能承受一定的压力。

6、具有良好的沟通能力,乐于分享,与团队成员分享最佳实践,共同进步。

个推

1、掌握Linux操作系统的配置,管理及优化,能够独立排查及解决系统层的各类问题;

2、熟悉Hadoop/HBase/Hive/Spark/Kafka/Zookeeper等开源项目的安装与调试,升级扩容和优化;

3、至少精通 Perl/Python/Shell脚本语言中的一种;

4、具备较强的逻辑思维能力、学习创新能力、数据分析能力,以及良好的沟通技巧和团队合作能力,性格开朗有较强抗压能力;

5、全日制本科以上学历,计算机相关专业;

6、5年以上运维经验;

网易

1、本科及以上学历,计算机相关专业;

2、2年以上系统运维或开发经验,熟悉Hadoop/Spark/HBase等大数据系统,有大数据平台运维或开发经验者优先;

3、熟悉Linux操作系统,熟悉Java,熟练使用Shell/Perl/Python/Ruby中至少一种语言;

4、良好的学习能力、逻辑分析、问题排查能力;

5、良好的团队合作者,善于沟通,较强的抗压能力。

能力三核模型分析

大数据运维能力三核

综合结果如下

知识

1、本科及以上学历(3)

2、计算机相关专业(2)

3、熟悉Hadoop、HBase、Kafka、Hive、Spark等组件的工作原理(1)

硬技能

1、熟悉/精通linux操作系统(4)

2、熟悉hadoop/hbase/hive/spark/kafka/storm等大数据开源系统部署、升级、扩容、优化等(4)

3、熟练掌握java/python/shell/perl/php等至少一种开发语言(5)

4、2年以上运维经验(3)

5、有CDH安装部署及运维经验(1)

6、有相关运维管理平台或自动化部署系统开发经验(1)

才干or 软技能

1、良好的沟通能力(4)

2、良好的团队合作能力(3)

3、良好的学习能力(4)

4、良好的解决问题能力(2)

5、良好的抗压能力(3)

6、良好的逻辑思维能力(2)

岗位职责

1、负责大数据平台部署、维护、管理、优化、规划等,包括但不限于Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等系统(5)

2、保障大数据平台稳定性和可靠性(4)

3、开发监控报警平台(3)

4、建设自动化部署及运维工具(2)

5、给业务提供技术支持及优化(2)

个人经验

是否需要设立大数据运维这个职位跟是否自建大数据平台直接相关,上面5家公司至少都是中型公司,从岗位职责来看都是自建大数据平台的。而是否自建大数据平台,什么时候自建,什么时候用第三方云平台(比如阿里的数加),则是一个仁者见仁智者见智的问题。个人经验建议下面3个场景符合之一则暂时不用自建:1)公司创业阶段;2)数据量规模不大;3)数据建设刚起步阶段,想快速见效阶段。当然老板的眼界和魄力不同,则另外一说。当公司老板决定建立大数据团队的那一刻,就决定了这是一笔不菲的投入,不管是自建数据平台还是使用第三方云平台(友情提醒创业老板们)。

对于决定自建数据平台的公司来说,大数据运维这个职位基本也就确定了的。现在大数据运维职位在一般公司内还处于模糊阶段,比如岗位要求都是写要熟悉或者精通Hadoop、Hdfs、HBase、Hive、Spark、Storm、Kafka等技术栈,一个普通的工程师短时间内很少能研究这么多系统,况且这些系统的技术更新迭代又非常的快,既然这种人这么少,为啥又都这样要求呢?原因很简单,这就是这个行业发展阶段和认知水平。其实在BAT已经是按照不同系统在细分了,比如有专门负责hbase的同学,有专门负责hive的同学等。

对于有意向该岗位的同学要有极高的自我学习能力和要求,而且不能间断,这是一条不折不扣技术之路。

系列文章

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:游动-白 设计师:我叫白小胖 返回首页
评论
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值