我的 Spark 3.1.1 之旅【收藏夹吃灰系列】

点击蓝色“有关SQL”关注我哟

加个“星标”，天天与10000人一起快乐成长

图 | 榖依米

大数据三部曲终于完成了：

我的 Hadoop 3.2.2 之旅 【收藏夹吃灰系列】

我的 Hive 3.1.2 之旅 【收藏夹吃灰系列】

本篇是最后一部，《我的 Spark 3.1.1 之旅》。

如今使用 CDH( Cloudera Distribution Hadoop) 部署 Hadoop 成了业界常规，为什么还要费劲自己动手呢？这不浪费时间嘛！

是的。时间投入蛮大的，不算写文章，搭建过程也得有 20多个小时。白天忙公司项目，都已经焦头烂额，回到家，还得花上 2-3 小时，熬到深夜。

搭建过程，难熬的是，遇到卡点，找不到解决方法。抓狂，质疑，怀疑人生，不停对自己说放弃，但最后一刻，总能在一杯杯热咖啡的陪伴下，找到破解。

一切技术难点，都是纸糊的。我们要做的，只有埋头苦干，与等待！

浪费时间，给自己找罪受？No, 这正是我享受的地方！

初学数据库时，我把 Oracle 反复装了 50 多遍。Solaris, Redhat, CentOS，能找到的操作系统，我都装了。哪个 Linux 容易装，网络不稳定会出什么问题，磁盘不够用会有什么症状，RAC 该如何配置，等等，都经历了一遍。之后看到问题，心里才没有初学时那种慌张。

搭建大数据环境也一样。CDH/Hortonworks/MapR, 这些厂商都给封装完了，纯 UI 式安装管理，开发用得挺爽。但某天爆出一个 Hive Authentication exception, 如果不知道有 hive-site.xml 这回事，不知道 hive.server2.authentication, 处理起来，两眼一抹黑，只能傻傻等待重启了！

所以，我还是会选择，多自己动手，从 0 到 1 玩一样东西。虽然少看了很多蓝光高清电影，但这个过程是值得的！

以下是这次分享的主题：

• 巧妇也做有米之炊： 准备安装文件

• 买锅造炉：集群搭建