大数据分析工程师入门--0.开篇词

导读：Hi，欢迎来到数据的世界！经过团队多次讨论，我们决定输出一份礼物，送给关注我们公众号的朋友们！那就是，【大数据分析工程师入门课】——TA是一份凝聚心血的果实，我们将会用21堂课来带领想入门大数据的你走进数据分析的大门。这是一篇开篇词，主要目的是介绍这门课程的发布背景、课程大纲和发布计划，希望能帮助大家系统的认识大数据！重点的重点，这份匠心礼物，我们将【免费】送给大家，这是一份输出的承诺，也是一个价值社交的尝试！看完开篇词如果你感受到了我们的诚意，希望你可以分享给同样想进入大数据领域或想交流大数据技术的朋友！

大数据时代已经到来

▲▲▲

最近几十年，高速发展的互联网，渗透进了我们生活的方方面面，整个人类社会都已经被互联网连接为一体。身处互联网之中，我们无时无刻不在产生大量数据，如浏览商品的记录、成交订单记录、观看视频的数据、浏览过的网页、搜索过的关键词、点击过的广告、朋友圈的自拍和状态等。这些数据，既是我们行为留下的痕迹，同时也是描述我们自身最佳的证据。2014年3月，马云曾经在北京的一次演讲中说道：“人类正从IT时代走向DT时代”。5年过去了，正如马云预想的那样，大数据时代已经到来了。

任何互联网企业都会产生大量数据，而对这些数据的分析处理显得越来越重要，因此企业对大数据工程师的需求量越来越大。从国家在大数据上的政策、大量高校开设大数据学院或者专业、火爆的大数据培训市场、漫天飞舞的大数据招聘信息，就可以感受到社会和企业对大数据分析工程师的需求有多大！

大数据时代背景下，企业的运营策略会有什么变化呢？

▲▲▲

大数据时代的到来，给企业的发展提供了新的机遇和挑战。在过去，企业通常是根据主观经验和想象力去创造产品，满足用户当前需求，精雕细琢后生产出来，然后让市场去检验成功与否，周期很长，成本很高。在互联网时代，在此模式的基础上向前推进一步，企业尽早让创意落地，之后结合用户反馈通过快速迭代的方式去不断完善产品，满足用户新的需求。而大数据时代背景下，又向前推进一步，企业需要利用用户的各种数据，去理解每一个独立的用户，通过精细化运营，在产品框架内满足每一个用户的独特需求。

为什么要用大数据分析？

▲▲▲

新时代背景下，企业精细化运营的需求，需要对应的专业工具和专业人才来完成。所谓精细化运营，就是要从多种角度去理解用户，结合不同的业务场景，对用户进行适当的分级，去满足每种分级用户的不同需求，提升客户满意度和忠诚度，提高客户价值转化，最终达到降低运营成本、提高公司盈利的的目的。

要想做到精细化运营，以下几个方面的事情是必须要做的：

1.尽可能收集到足够多的数据；

  2.对收集到的数据进行处理、组织和建模，以便用于分析；

  3.结合公司的业务，对数据进行各种维度的分析，从数据的角度去理解用户；

  4.基于分析数据得出结论或总结规律，指导公司做更精细的运营策略，减少成本，提升效果；

由此可见，要想做好精细化运营，需要使用到大量的数据来分析和描述用户，这就离不开数据分析的支撑。而面对上述大量的用户数据和复杂的分析任务，自然需要大数据分析工程师来完成。

大数据分析师的工作内容是什么？

▲▲▲

而要完成上述这一系列的任务，有一个关键性的岗位不得不提，那就是大数据分析工程师。想必大家也会好奇，大数据分析工程师，日常是做什么的呢？

工 作 内 容

1.数据采集	找出描述用户或对业务发展有帮助的数据，并将定义相关的数据格式，交由业务开发部门负责收集对应的数据。
2.ETL工程	对收集到的数据，进行各种清洗、处理、转化等操作，完成格式转换，便于后续分析，保证数据质量，以便得出可以信赖的结果。
3.构建数仓	将数据有效治理起来，构建统一的数据仓库，让数据与数据间建立连接，碰撞出更大的价值。
4.数据建模	基于已有的数据，梳理数据间的复杂关系，建立恰当的数据模型，便于分析出有价值的结论。
5.统计分析	对数据进行各种维度的统计分析，建立指标体系，系统性地描述业务发展的当前状态，寻找业务中的问题，发现新的优化点与增长点。
6.用户画像	基于用户的各方面数据，建立对用户的全方位理解，构建每个特定用户的画像，以便针对每个个体完成精细化运营。

成为一名大数据分析师，需要具备哪些技能？

▲▲▲

那么，问题来了，如果想成为一名大数据分析工程师，胜任上述工作内容，需要具备什么样的条件？拥有什么样的知识呢？笔者团队结合多年的数据分析工作实践经验，总结出了下面的表格，作为一名初级的大数据分析工程师，需要具备以下技能：

分类	子分类	技能	描述
技 术 能 力	编程基础	Java基础	大数据生态必备的java基础
		Scala基础	Spark相关生态的必备技能
		SQL基础	数据分析师的通用语言
		SQL进阶	完成复杂分析的必备技能
	大数据框架	HDFS&YARN	大数据生态的底层基石
		Hive基础	大数据分析的常用工具
		Hive进阶	大数据分析师的高级装备
		Spark基础	排查问题必备的底层运行原理
		Spark SQL	应对复杂任务的利刃
	工具	Hue&Zeppelin	通用的探索分析工具
		Azkaban	作业管理调度平台
		Tableau	数据可视化平台
业务基础		数据收集	数据是如何收集到的？
		ETL工程	怎么清洗、处理和转化数据？
		数据仓库基础	如何完成面向分析的数据建模？
		元数据中心	如何做好数据治理？
分析思维		数据分析思维方法论	怎么去分析一个具体问题？
		排查问题思维	如何高效排查数据问题？
		指标体系	怎么让数据成体系化？

为什么要发布这门课程？本课程如何满足上述学习需求？

▲▲▲

你是不是也有过这样的体验或困惑：想学习大数据，但是资料非常多，每一个都够研究好一段时间了？学一本书，或者在网上看文章，发现讲解到的知识很多，不知道哪些是常用的，需要重点掌握，哪些是很少用，了解即可的？到底要学会哪些知识就算是入门了？

通过上面的表格，也可以看出，要想成为一名大数据分析工程师，需要掌握的技能还是蛮多的。现在大数据分析师岗位的需求量非常大，但是相关方面的学习材料和技术文档，却是比较泛化的。完全通过自学，很难抓住重点，进步缓慢。

因此，我们结合自己的实际工作经验，将日常工作中经常用到的知识点做下简单梳理，将重点内容整理成一系列的文章，带领大家学习入门。

本课程将会依据上述表格，每个技能都会写一篇单独的文章（一共21篇文章），结合实际的使用经验，讲解要成为一个大数据分析工程师，工作中必须要掌握的知识点。文章发布的顺序，基本上和表格内容自上而下的顺序一致。并且在课程的最后，我们会有两篇文章，各描述1-2个实际的案例，带领大家一起完成项目实战。

大家看到这么多的技能，是不是就已经开始有点头疼了呢？不用担心，我们会以尽可能直白的表达方式，结合实际工作经验，讲解工作中使用频率比较高的知识点，相当于提炼了学习内容，直接画出了重点。

那么，本课程的适用人群有哪些呢？

▲▲▲

我们主要的服务对象是，初级和准初级大数据分析工程师。如果你是一名想成为大数据分析师或想找相关实习岗位的大学生，或者是想转岗大数据方向对数据分析比较感兴趣的同学，那么恭喜你，本课程非常适合你。

学 完 后 的 收 获

❖掌握大数据分析的基础知识，与其他同事沟通无障碍；

❖具备一定的项目实战能力，对于大数据分析工作可以直接上手；

❖提升自信心，自如应对面试，顺利拿到实习岗位或offer；

本课程完全免费，我们只想把自己的经验总结后输出，帮助尽可能多的人进入这个行业。本课程目前由三位作者协作完成，采用大小周的方式发布更新，即大周发布两篇，小周发布一篇。希望本系列课程能对您有所帮助，也希望大家积极留言，把自己的想法和我们多交流，这是一次新的尝试，期待你分享给想进入大数据分析领域的朋友，让我们一起精进，一起大数据！