数据分析师职业规划——数据分析师这个岗位，可能近几年会消亡

近期成为月入两万的数据分析师的广告遍地都是，可能会对一些未入行的同学造成错觉。我个人感觉数据分析师这个岗位，可能近几年会消亡。

这不意味着这份工作本身不重要，而是说这份工作本身可能会转化为产品运营的一些必备技能，而不再需要单独特设人力去做这件事。或者说，不是再需要你学习SQL或者学习python，只是为了成为一名数据分析师。作为一名数据分析师，由技术带来的岗位的壁垒正在不断消减，更加主动的拥抱业务，解决真正的产品和用户需求，或将成为未来的发展趋势。

数据分析师的日常工作

我们来看下预设中的分析师的一些工作场景，看看数据分析师核心的工作价值。

取数

数据清洗

数据可视化

统计分析

数据方向建设和规划

数据报告

取数 — SQL

很多人对数据分析师的预设是SQL达人，包括现在很多数据分析师的核心工作其实就是进行SQL取数。

这项工作的痛点和难点在于，我们为了得到一个结果，通常需要join很多的数据集，然后整个SQL语句就会写的特别长，而且可能会出现一些问题：比如join的表可能会出现key是重复的情况，造成最终的SQL结果因为重复而变得不可用。

所以我们需要专人去专门维护各种各样的数据集，他们知道每张表应该怎么用。但这个其实是关系型数据库遗留下来的产物——我们完全可以不需要join那么多的表。

现在的分布式计算的框架，已经完全可以支持我们只保留一张大宽表，有需要的所有字段，然后所有的操作都在这张大宽表上进行，而且可以保证查询速度。这样数据分析最大的痛点已经没有了。

至于你说大宽表里面存了很多重复的数据，是不是很浪费资源(关系型数据库之所以不用大宽表就是从存储空间和性能的trade-off角度考虑的)：放心，分布式存储本身是不贵的，而计算效率则是由分布式计算框架进行专门优化的。现在的计算框架计算的响应速度，已经可以在大宽表上可以很快的得到结果了。相比之下，多次join操作反而可能会更慢一些。

同时，现在很多公司的NB框架，其实都已经支持拖拽取数了，也根本不需要写SQL了。此外，不得不说的一点是，SQL语句本身真的不难。可能如果你自己静下心来想学，一个周末的时间肯定能搞定。

而资历老的数据分析师，并不会比资历轻的数据分析师，在SQL语句的写作上有什么本质的区别。以前可能还有一些小表join大表的trick，但现在计算框架大多都已经优化过这些了。所以即使是需要写SQL的场景，本身也是没有什么难度的。所以，通过大宽表来解放数据分析工作的生产力。即使在一定要写SQL做join操作的时候，本身也不是一件壁垒特别高的事情。取数这件事儿，对于其他岗位的同学，就已经没那么复杂了。

数据清洗 — Python

数据清洗其实是很多强调python进行数据分析课程中，python部分的主要卖点。包括但不限于，怎么处理异常值，怎么从一些原始的数据中，得到我们想要的数据。这些数据分析课程通常会把自己的python应用吹得神乎其技，好像付出学了python才能成为一个合格的数据分析师。

但是在数据分析的日常工作中，使用python的场景其实很小。因为数据大部分都是自己产生的，很少会出现没有预设到的极端值或者异常情况。如果有的话，一般就是生产数据的同学代码写的有bug，这种发现了之后修复代码bug就行。数据清洗在工作场景的应用在于落表——就是把原始数据变成上面提到的，可以通过SQL提取的hive表。

这个工作是需要懂代码的同学去支持的，他们负责数据的产出，包括数据的准确性，数据的延时性(不能太晚产出)等等。前文提到的生成大宽表，其实也可以是他们的工作。

这其中就涉及到一些代码的效率优化问题，这个就不是简单懂一点python可以搞定的了，可能涉及到一些数据压缩格式的转化，比如Json/Proto buffer到hive表的转化，还有一些计算框架层面的调优，比如spark设置什么样的参数，以及怎么样存储可以更好的提升查询速度。所以这部分工作一般是由懂代码的同学完成的。可能数据团队会有比较少数的同学，管理支持全公司的基础表的生成。

深攻AI

如果你不想做简单的数据分析和数据产品，并且自己也具备一定的数学、统计学、计算机编程（最简单的Python、R）能力，那么AI是一个不错的发展方向。AI是一个大的范畴，可以囊括现在火热的数据挖掘、机器学习、深度学习等。

AI可以深度解释为什么、以及未来会如何（做预测）等问题，对技术含量和业务的理解程度要求都较高，并且在未来不会很快被替代。AI如何解释为什么以及未来进行预测呢？先看实际运用AI的例子：Airbnb 于 2008 年成立， 目前已覆盖 191 个国家、65000 个城市，拥有超过三百万笔房源，成为全球最大的共享住宿平台。

很早之前，Airbnb 通过数据发现，房源照片的品质对预订率有着非常大的影响，图片品质好的房源预订率是品质差的两倍。但房东不知道，拍摄的照片普遍灯光差、不整洁、像素低，极大地降低了用户的预定欲望。

从 2010 年开始，Airbnb 开始雇佣专业摄影师，协助房东拍摄房源照片，上传至自己的房源介绍页面。受益于专业摄影师拍摄的具有吸引力的照片， Airbnb 当时的订单获得了两到三倍的增长。Airbnb图片品质对订单的影响就是一个AI解释为什么并对未来业务增长产生深远影响的例子。AI对业务产生直接影响一般也称为增长黑客。

文章来源：网络 版权归原作者所有

上文内容不用于商业目的，如涉及知识产权问题，请权利人联系小编，我们将立即处理