大数据分析师，比数据分析师厉害在哪

最近看到个段子：

你是个数据分析师，平时主要都用 Python 的 Pandas 处理分析数据，一天，上司甩来一个文件让你清洗好顺便提取些数据，下班前给到他。
你一看文件有几十个 GB 大，有点傻眼，不过还是熟练地打开 Python，准备把数据导入 Pandas 中，结果发现死机了，排气扇嗡嗡地狂转，半天都没有反应，你不甘心，重启电脑尝试了一遍依然没用，折腾了好一阵子，也快到了下班时间，你开始手脚冒汗，担心完不成任务。

然而下班时间还是到了，上司悠悠然的声音从背后飘来：弄好了么？
你吱吱呜呜地，不知怎么回答，嗯，额，马上就好。
上司：那现在发给我啊？
你觉得无法再糊弄过去了，干脆交待吧，剩下的听天由命：文件太大，我用 Python 处理不了。
上司：嗯？就是说还没开始么？
你：是，是的。。。
时间仿佛凝固了几秒，空气也不流动了。

上司突然笑道：其实，是专门甩给你这么大个数据的。
你：啊？为啥？
上司：想让你知道，别一天到晚拿到数据就上 Python  搞，Pandas 处理几 GB 以内的小数据还搞地定，体验不到性能差异，但是像今天这么大的数据，Pandas 很难处理，内存吃光都不够用，电脑卡死，你就只能干瞪眼。 
你：那怎么处理这些大数据？
上司不紧不慢道：其实这点数据不算大，顶多算 Large Data，要上到 Big Data 起码要到 TB 级别。由于算法和本地内存的限制，Pandas 在处理 Big Data 方面有自己的局限性。所以这么大的数据一般都用 Hadoop 或者 Spark 等工具来处理。

你：Hadoop 或者 Spark 是什么？
上司：去学点大数据分析吧。

上面的段子你可能觉得只是在说笑，大数据离你很远。其实，大数据早都渗透到你生活中了，你上网购物，下次就会根据你的购物习惯给你推荐新产品；你打滴滴，滴滴会迅速匹配到离你最近的司机。

现在有一个很热门的职业叫做「数据科学家」，薪资比普通数据分析师高地多，这说的其实就是大数据分析师。在美国，与大数据相关的职位统称为「数据科学家」；而在国内，与大数据相关的岗位则细分得多，按照级别主要分为数据分析、数据挖掘、数据工程师、数据架构师这几类。

随着大数据的运用，大数据这个行业可以说是「前景可期」，行业人才缺口也还很大，很多高校都陆续开设这方面的专业，这些岗位也都会成为未来最吃香的职业，可能一些人一听到「吃香」就想去学，因为钱多啊。作为一过来人想说的是，在你决定学习一门知识之前，首先要确定自己不是从众心理，你要遵从你内心的兴趣爱好，不要因为什么工资高就去学习什么。

也许你并不 Care 什么前景行业、什么高薪福利，你很满足当下所在的工作岗位、所会的技能，你觉得人生该顺其自然，不要给自己施加太多压力，去盲目追随所谓的财富自由、亮眼 Title，这一辈子平淡安稳地过下去就够了，王小波不说过这么一句话么：「我活在世上，无非想要明白些道理，遇见些有趣的人，做一些有趣的事。倘能如我所愿，我的一生就算成功。」

我也喜欢这句话，但我理解的可能和你不太一样。其实这个「有趣」并不是一件容易做到的事，你没有一定的经历，你根本不能理解哪些是真正好玩、有趣的人和事，就比如曾经一段很火的文案：

你写 PPT 时，阿拉斯加的鳕鱼正跃出水面
你看报表时，梅里雪山的金丝猴刚好爬上树尖
你挤进地铁时，西藏的山鹰一直盘旋云端
你在会议中吵架时，尼泊尔的背包客一起端起酒杯坐在火堆旁

所以最好是努力拼搏、锐意进取，每天都进步一点，才可能有这样的机会去体验。

如果你一直或者现在对「大数据分析师」很感兴趣，但一直不知如何去学它，我愿意和你分享一下入门大数据分析的路径。

通常来说你需要有这几个方面的基础：

• 数学和统计知识

  暂时不用太多，大学里学的线性代数、概率统计、高数这些课程就够，如果你忘了，再回去复习复习就好。

• 学习编程

  这一点我相信你是会的， 如果你会的是 Python，那再好不过。

• 数据库知识

  只要跟数据打交道就离不开数据库，SQL 语言是每个数据分析师必不可少的一项硬技能，当然，学习大数据 SQL 也是必经之路。

• Linux 系统的基本操作

  Linux 系统的基本操作是大数据不可分割的一部分，大数据的组件都是在这个系统中跑的。

• Hadoop 架构基础

  Hadoop 是学大数据的基础，从而构建 Hadoop 集群，再建立 spark 开发环境，完成大数据环境的配置搭建。

• 机器学习

  要会用一些机器学习算法，比如常见的十大算法，机器学习能更好发挥出大数据的优势。

如果你觉得还是不太清楚，那可以用一张图来总结大数据分析需要会的技能：

（文末「添加小助理 」得到高清大图）

到这儿你可能会感叹，大数据分析师仅仅比数据分析师多了个「大」字，要学习的东西就要多这么多。是的，不然大数据分析师的薪资会高么多。不过我觉得是值得的，趁年轻多学点技能傍身，不断挑战自己，未来你会感谢现在拼命的自己。

鉴于此，分享一场公开课《大数据分析师的进阶之路》，由12年行业经验累积的大数据分析师老杨亲自讲授，更会有数据分析项目长达80分钟的动手实践的公开课。原价399，限时免费直播，仅限前500名！（随堂附送课件源码）

杨国俊

任中国互联网开发者协会理事。

老杨进入IT行业12年, 曾架构首都机场物流系统,长山电厂的ERP系统等多个国家级的大型项目等。在机器学习、深度学习、神经网络、数据挖掘算法实现、产品运营分析、推荐系统、数据可视化等技术领域均有累积，涉猎广泛。

公开课时间

3月21日（本周四）20:00

直播

优惠名额有限，长按下方二维码，马上去抢！

大家添加之后，一定要提前先跟小助理锁定听课名额，人数较多，先到先得。

Ps：公开课由"开课吧"大数据分析师亲自分享，同时IT技术大牛廖雪峰联手世界级数据科学家巴川加盟开课吧，并耗时半年研发了精品付费课程-《大数据分析工程师》，面向编程小白转行数据分析师，或者对现在的自己不满意想要提升大数据分析能力的人群，课程结合行业人才画像，行业专家设计课程体系，培养复合型专业数据分析人才。