08年就开始接触数据行业了,期间做过ERP、数据库开发、数据分析/挖掘等,目前个人的理解搞数据可以分为以下几个方面,从工作性质上来分:
数据库ETL工程师
数据库开发工程师
数据库管理员(DBA)
数据分析师
数据挖掘工程师
数据库ETL工程师主要负责数据的清洗E、转换T、加载L,负责从多个不同的系统抽取数据,进行转换加载到数据仓库,并定期监控数据抽取任务和数据质量问题。
数据库开发工程师又分为生产系统数据库开发和分析系统数据库开发,生产系统数据库开发工程师主要负责生产、运营用数据库的设计、开发和维保工作,一般遵从数据库设计3范式,通常会对业务系统产生直接的影响,为实时操作性工作,一般数据库如有改动上线需要小心谨慎,早期做数据库工作的一般都是这种。另外当OLTP系统处于饱和,大型的电信、金融、互联网企业数据逐渐增多,开始从不同的生产系统抽取数据形成自己的数据仓库OLAP系统,这时候分析型数据开发工程师应运而生,一般分析型系统的数据库设计和传统3范式背道而驰,因为分析域的内容往往跨多专业多视角,经常需要基于宽表进行分析,所以形成了ODS、DW(仓库层)、MK(汇总层)各个数据层,基于这些宽表数据开发出应用于不同部门或专业的相关报表,提供给决策层使用,这是bi数据库开发工程师的工作。
数据库管理员(DBA)工作就是对数据库的实施、部署、运维、调优等,通常以数据库的正常运行、性能优良为工作核心,这方面接触的不多。
数据分析师,早期的数据分析可以通过在execl或者简单的mis、oa系统的相关统计报表实现,但是随着数据量和系统的复杂度,这个方向的工作逐渐需要借助相关的专业分析统计软件,例如SPSS、SAS、R等,通常需要和相关业务紧密结合,通过建立相关算法模型(决策树、逻辑回归、聚类等)去解读数据中的潜在价值,这一块也是目前大数据时代比较热的行业,但是入门门槛比较高,首先需要有统计学基础、数学算法基础,同时一个好的分析师也必须是一个业务专家,这样挖掘出的数据才能真正产生实际的价值,这方面也属于数据挖掘的范畴。
数据挖掘工程师,一方面如上所述是偏于统计分析、挖掘的业务模型应用方向,另一方面是偏于大数据系统框架建设的,如目前大数据领域应用比较多的hadoop平台,其中涉及的技术模块也比较多(Hbase、Hive、Mapreduce、Spark等),入门比较困难,但也是目前大数据时代非常热的一个发展方向。
另外,数据库的发展方向目前主要分为3种:传统的关系型数据库(如ORACLE、DB2、Mysql等基于行式的),新兴的适用于分析域的列式数据库(TD、Vertica等分析速度非常快)及非关系型的Nosql数据库(基于Hadoop生态体系的分布式存储系统,目前应用较多的是大型的互联网企业,如BAT,特点是基于原生态的Hadoop,但是很多模块根据自己的业务模式进行了深加工和改造,以适应于自己的生态系统,如腾讯的大数据平台TDW)
提供一个数据分析网站招聘职位的分类列表,以供参考:
本文乃sunjinshuang原创文章,请勿转载。如须转载请详细标明转载出处。
数据库ETL工程师
数据库开发工程师
数据库管理员(DBA)
数据分析师
数据挖掘工程师
数据库ETL工程师主要负责数据的清洗E、转换T、加载L,负责从多个不同的系统抽取数据,进行转换加载到数据仓库,并定期监控数据抽取任务和数据质量问题。
数据库开发工程师又分为生产系统数据库开发和分析系统数据库开发,生产系统数据库开发工程师主要负责生产、运营用数据库的设计、开发和维保工作,一般遵从数据库设计3范式,通常会对业务系统产生直接的影响,为实时操作性工作,一般数据库如有改动上线需要小心谨慎,早期做数据库工作的一般都是这种。另外当OLTP系统处于饱和,大型的电信、金融、互联网企业数据逐渐增多,开始从不同的生产系统抽取数据形成自己的数据仓库OLAP系统,这时候分析型数据开发工程师应运而生,一般分析型系统的数据库设计和传统3范式背道而驰,因为分析域的内容往往跨多专业多视角,经常需要基于宽表进行分析,所以形成了ODS、DW(仓库层)、MK(汇总层)各个数据层,基于这些宽表数据开发出应用于不同部门或专业的相关报表,提供给决策层使用,这是bi数据库开发工程师的工作。
数据库管理员(DBA)工作就是对数据库的实施、部署、运维、调优等,通常以数据库的正常运行、性能优良为工作核心,这方面接触的不多。
数据分析师,早期的数据分析可以通过在execl或者简单的mis、oa系统的相关统计报表实现,但是随着数据量和系统的复杂度,这个方向的工作逐渐需要借助相关的专业分析统计软件,例如SPSS、SAS、R等,通常需要和相关业务紧密结合,通过建立相关算法模型(决策树、逻辑回归、聚类等)去解读数据中的潜在价值,这一块也是目前大数据时代比较热的行业,但是入门门槛比较高,首先需要有统计学基础、数学算法基础,同时一个好的分析师也必须是一个业务专家,这样挖掘出的数据才能真正产生实际的价值,这方面也属于数据挖掘的范畴。
数据挖掘工程师,一方面如上所述是偏于统计分析、挖掘的业务模型应用方向,另一方面是偏于大数据系统框架建设的,如目前大数据领域应用比较多的hadoop平台,其中涉及的技术模块也比较多(Hbase、Hive、Mapreduce、Spark等),入门比较困难,但也是目前大数据时代非常热的一个发展方向。
另外,数据库的发展方向目前主要分为3种:传统的关系型数据库(如ORACLE、DB2、Mysql等基于行式的),新兴的适用于分析域的列式数据库(TD、Vertica等分析速度非常快)及非关系型的Nosql数据库(基于Hadoop生态体系的分布式存储系统,目前应用较多的是大型的互联网企业,如BAT,特点是基于原生态的Hadoop,但是很多模块根据自己的业务模式进行了深加工和改造,以适应于自己的生态系统,如腾讯的大数据平台TDW)
提供一个数据分析网站招聘职位的分类列表,以供参考:
![](http://img.blog.itpub.net/blog/attachment/201505/25/14146064_14325448832UY2.jpg?x-oss-process=style/bb)
本文乃sunjinshuang原创文章,请勿转载。如须转载请详细标明转载出处。
来自 “ ITPUB博客 ” ,链接:http://blog.itpub.net/14146064/viewspace-1674165/,如需转载,请注明出处,否则将追究法律责任。
转载于:http://blog.itpub.net/14146064/viewspace-1674165/