1.大数据初步

01为什么要学习大数据
辛苦是获得一切的定律。
——牛顿
从这里，我将带你进入大数据的世界。

你好，我是 RangeYan。目前在国内一线互联网从事数据研发工作。

2013 年我在阿里巴巴从事后端研发工作。大西洋彼岸的美国以 Hadoop 为代表的大数据技术，进入了超高速发展时期。大量的国内互联网公司开始引入 Hadoop 项目，并将这一大数据技术大规模应用于自身的业务发展。这一年被称之为大数据元年。

身处一线互联网公司，身边的同事，新闻媒体的报道，行业技术峰会，都在激烈讨论着大数据时代即将来临，我们生活会发生巨大变化。渐渐的我被大数据神秘的光环所吸引，内心急迫的想参与到这一时代洪流中来。希望能占据先机，待大数据大放异彩之时，博得一席之地。当时的大数据对于大家的新鲜程度，绝对不亚于现在的人工智能。

于是在 2015 年换工作时，我毅然决然地选择将工作方向转向了大数据研发，成为了一名大数据 (Big Data) 工作者。

时间走到了 2020 年，五年多的时间里，带着对大数据的好奇与向往，从对大数据一无所知开始，一步步学习大数据技术，到现在成为一名一线互联网公司大数据专家。

在这段互联网转人员转型大数据经历里面，我踩过无数坑，遇到过很多的问题，然而更多的是在大数据时代的浪潮里积攒宝贵知识，收获了热爱的事业。

从 2004 年 Google 发表的三篇论文开始，大数据技术已经走过了 16 个春秋。

从理论探索到技术落地，从单一的 Hadoop 项目发展到完备 Hadoop 生态系统，从石破惊天到遍地开花，大数据已经彻底融入了我们的生活。但时至今日，我知道屏幕前依然有很多人对大数据知之甚少，或者从事多年软件技术研发，想转型从事大数据相关工作。

如果你也有这样的疑问:

什么是大数据？

在人工智能时代下互联网研发人员转型大数据是否依然有价值？

那么你一定要认真的读完这期专栏。

在这个专栏里面，我将从一个互联网技术人员转型大数据的亲历者的角度，揭开大数据的神秘面纱，给你们呈现一个真实的大数据，以及互联网行业大数据从业者实际的工作状态。相信看完专栏之后的你，一定会收获满满。

在接下来四个月的时间里，我的专栏会按照下面的顺序编排，由浅入深，带你一步步进入大数据的世界里。

我会引用大量行业顶尖公司，政府，维基百科等多方言论，回答一个简单而重要的问题：什么是大数据。回答完这个问题之后，我会将大数据的波澜壮阔的发展历史呈现在大家面前，让你知道，我们是如何一步步走入大数据时代的。

针对技术人员感兴趣的 Hadoop，我会用庖丁解牛的方式，告诉你 Hadoop 和大数据到底是什么样的关系。

我会介绍在这个人工智能时代背景下，大数据已经应用到了我们生活的哪些方面，给大家的生活带来了哪些实际的便利，并以征信行业举例说明大数据是如何赋能传统行业的。

大数据出现的同时也引发了新的问题：数据安全。针对技术型读者准备了小甜点：并行计算和实时计算哪个更难、搜索和推荐技术更迭背后：头条的崛起，百度的陨落。然后我会用大量的例子讲解数据爬取的这一简单的难题。

经过前两章的铺垫之后，我会正式介绍大数据生态系统的理论知识。对大数据生态系统的各个重要的组件，一一介绍，让大家对大数据技术有个整体的了解。

在完成大数据生态系统理论知识的学习之后，我会带着大家从搭建一个 Hadoop 集群开始，并着重介绍大数据开发性能调优技巧。让大家具备初步的 Hadoop 集群运维和大数据开发能力。想转型大数据技术的同学希望能重点掌握好这一章节，为以后的工作打下一个坚实的基础。

我会从大数据容器化，人工智能普及化，物联网产业化，边缘计算崛起几个角度，介绍大数据未来的发展方向，让大家洞悉到大数据发展的时代脉搏。

为了呈现真实的互联网大数据从业者现状，我会从数据平台开发工程师，数仓开发工程师，数据挖掘工程师，数据分析师多个岗位出发，介绍他们需要具备的职业技能，日常工作内容。

最后我会以探讨的方式来聊聊每个互联网从业者无法回避的 35 岁问题：中年危机问题。

在这四个月的时间里，大家有什么疑问，可以在专栏下面的评论区留言，我会竭尽所能，解答大家的疑问，希望我们能一起学习，共同进步。