数仓岗位

本文介绍了企业大数据内部结构,包括平台组、数据仓库组、实时组和数据挖掘组。平台组负责框架搭建和集群监控;数据仓库组涉及ETL和数据建模;实时组专注于实时指标分析;数据挖掘组则涵盖用户画像、推荐系统和算法研发。报表开发组将数据以可视化方式展示。
摘要由CSDN通过智能技术生成

在目前已知企业中,大数据内部结构如下

平台组

  1. 负责框架搭建,安装 
  2. 集群性能监控   例:如果某个集群运行过程中突然 挂掉,或者某台机器性能 内存不够用 。 那么怎么能将这些问题立刻发现 找到 并解决,这就是集群性能监控。
  3. 集群性能调优  
  4. 那么以上三点的工作岗位,统称为  “ 大数据平台工程师 ”

数据仓库组

  1. ETL 工程师(数据清洗)   例:清洗数据主要包括 空值重复数据,过期数据等等通过 kettle 或者其他一些技术手段 过滤掉。
  2. 数据分析 (数据仓库建模) 它是数据仓库 非常核心的一个岗位,也可以认为是 数据仓库的 架构师
  3. 以上两点 统称为 “ 大数据数仓工程师 ”

实时组

  1. 实时指标分析(性能调优)  例:双十一阿里可视化大屏幕  实时显示交易额
  2. 统称为 “ 大数据实时开发工程师 ”

数据挖掘组  : 比较高端,偏向人工智能,对计算要求较高

  1. 用户画像工程师   例: 对用户“ 打标签
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

睡覺了

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值