m0_73905064的博客

【代码】hadoop HA模式搭建（基于前面博客要先搭建好zookeeper。hadoop HA模式搭建只是更改/etc/hadoop目录下面文件）

【代码】mysql8.0.33-1.el7.x86_64.rpm-bundle搭建。

基于前面一般我们都是用Spark On YARN跑代码，所有说王炸都在后面。

主要是宕机问题基于前面博客搭建好hadoop, zookeeper,并且启动。

使用三台Linux虚拟机来组成集群环境, 非别是:master运行: Spark的Master进程 和 1个Worker进程slave1运行: spark的1个worker进程slave2运行: spark的1个worker进程整个集群提供: 1个master进程 和 3个worker进程基于前面博客。

功能功能提供一个python提供一个scala提交java\scala\python代码到spark中运行解释器环境用来以python代码执行spark程序提供一个python解释器环境用来以scala代码执行spark程序提供一个scala提供一个scala特点解释器环境 写一行执行一行解释器环境 写一行执行一行提交代码用使用场景测试\学习\写一行执行一行\用来验证代码等测试\学习\写一行执行一行\用来验证代码等正式场合, 正式提交spark程序运行。

【代码】Anaconda On Linux 安装。

默认情况下，root用户是不运行远程登录的，只允许在MySQL所在的Linux服务器登陆MySQL系统。请注意，此配置仅仅是用于测试环境或学习环境的MySQL，如果是正式使用，请勿设置简单密码。我们可以给root设置简单密码，如123456.主要修改root密码和允许root远程登录。的服务，可以被systemctl所管理。

通过find / -name mysql.sock 查询到结果，做一个软链接到/tmp目录下即可解决问题。默认情况下，root用户是不运行远程登录的，只允许在MySQL所在的Linux服务器登陆MySQL系统。请注意，此配置仅仅是用于测试环境或学习环境的MySQL，如果是正式使用，请勿设置简单密码。主要配置管理员用户root的密码以及配置允许远程登录的权限。我们可以给root设置简单密码，如123456.的服务，可以被systemctl所管理。

sqoop介绍。

【代码】python连接hive操作。

【代码】sqoop。

名称ipdocker。

​​​​名称ipdocker。

Flink同Spark一样，是一款分布式内存计算引擎，可以支撑海量数据的分布式计算。Flink在大数据体系同样是明星产品，作为最新一代的综合计算引擎，支持离线计算和实时计算。在大数据领域广泛应用，是目前世界上除去Spark以外，应用最为广泛的分布式计算引擎。我们将基于前面构建的Hadoop集群，部署Flink Standalone集群Spark更加偏向于离线计算而Flink更加偏向于实时计算。

运行上述命令后，如果能够正确显示Python 3的版本号，则说明安装成功。

start-hbase.sh即在$HBASE_HOME/bin内，所以可以无论当前目录在哪，均可直接执行。由于我们配置了环境变量export PATH=$PATH:$HBASE_HOME/bin。请确保：Hadoop HDFS、Zookeeper是已经启动了的。【hadoop01执行】

【代码】Kafka_2.12-2.4.1集群安装部署。

【代码】Zookeeper-3.5.9集群部署。