大数据职业发展方向
说明: 以下的我,不是我,是原作者。
我从业的两段经历
大数据的方向有很多的,即使没有真正经历过,平时也会耳濡目染,在各大杂志公众号新闻上听说过,什么大数据人工智能,大数据分析挖掘,大数据架构师等职位。
我以我的两段从业经历来说明一下大数据的方向吧。
我的前公司是一家互联网企业,大数据部门是从0开始起步的。
我们的数据总监是来自百度的资深专家。
一开始是从0开始搭建 CDH 集群,接着采集服务器日志,采集关系型数据库数据到 hadoop 上。
等数据渐渐多了起来,我们开始着手做一个企业数据仓库,整合各个业务线的数据,最终产出各种报表和分析数据给老板和各个业务线的产品经理。此时产生了第一个小组,数据仓库组。
然后数据越来越多,需求也越来越多,我们便开始招数据分析人员,去接第三方的数据分析需求,并产出各条业务线生产运营分析报告。此时产生了第二个小组,数据分析组。
当时我们也有社交的场景,会员在平台上会发文章,写评论,当然必不可少的会打广告。打广告的方式也是五花八门,玩文字梗的,谐音梗的,图片上打广告的。此时需要专门从事 NLP 和图形识别的小组,去拦截平台广告。由此成立了第三个小组,AI组。
随着社交场景的持续发展,平台内容也在逐渐增多,此时需要做一个推荐系统去构建用户的画像,给用户推荐他们喜欢的内容,维持用户的黏性。此时产生了第四个小组,推荐组。
后面数据越来越多,老板也看到了其中的价值