《PySpark大数据分析实战》-06.安装环境准备

📋 博主简介

  • 💖 作者简介:大家好,我是wux_labs。😜
    热衷于各种主流技术,热爱数据科学、机器学习、云计算、人工智能。
    通过了TiDB数据库专员(PCTA)、TiDB数据库专家(PCTP)、TiDB数据库认证SQL开发专家(PCSD)认证。
    通过了微软Azure开发人员、Azure数据工程师、Azure解决方案架构师专家认证。
    对大数据技术栈Hadoop、Hive、Spark、Kafka等有深入研究,对Databricks的使用有丰富的经验。
  • 📝 个人主页:wux_labs,如果您对我还算满意,请关注一下吧~🔥
  • 📝 个人社区:数据科学社区,如果您是数据科学爱好者,一起来交流吧~🔥
  • 🎉 请支持我:欢迎大家 点赞👍+收藏⭐️+吐槽📝,您的支持是我持续创作的动力~🔥

《PySpark大数据分析实战》-06.安装环境准备

前言

大家好!今天为大家分享的是《PySpark大数据分析实战》第2章第1节的内容:安装环境准备。

图书在:当当京东机械工业出版社以及各大书店有售!

安装环境准备

Spark是运行在JVM上的,JVM是跨平台的,所以Spark可以跨平台运行在各种类型的操作系统上。但是在实际使用中,通常都将Spark安装部署在Linux服务器上,所以需要准备好用来安装Spark的Linux服务器,本专栏内容以Ubuntu 20.04作为目标操作系统。本地模式下,需要1台服务器;独立集群模式下,至少需要3台服务器;Spark on YARN模式下,至少需要3台服务器;云环境模式下,不需要自己准备服务器,在创建集群的时候可以选择集群规模需要多少节点。

准备3台服务器,用来安装Hadoop、Hive、Spark等集群,主机名称以及IP地址分别是node1(10.0.0.5)、node2(10.0.0.6)、node3(10.0.0.7),并在3台服务器上完成基础配置,所有服务器按统一规划配置,供后续安装配置集群使用。

再准备1台服务器,用来安装后续会使用到的MySQL、Kafka等其他组件,主机名称以及IP地址是node4(10.0.0.8)。

以下环境准备步骤,需要在3台服务器上同步进行,保证3台服务器的环境信息一致。

操作系统准备

安装Spark环境的操作系统需要统一完成最基本的设置,包括创建统一用户、配置域名解析及设置免密登录。

创建安装用户

操作系统用户统一使用hadoop、软件安装目录统一使用${HOME}/apps,所以需要在系统中创建hadoop用户并在hadoop用户的home目录下创建apps目录。使用root用户创建hadoop用户,命令如下:

# 创建hadoop用户
useradd -m hadoop -s /bin/bash
# 修改密码
passwd hadoop
# 增加管理员权限
adduser hadoop sudo

使用hadoop用户登录,创建apps目录,命令如下:

$ mkdir -p apps
配置域名解析

Spark集群的配置文件中涉及到节点的配置都使用主机名称进行配置,为了保证3台服务器能够正确识别每个主机名称对应的正确IP地址,需要为每台服务器配置域名解析。域名解析配置在/etc/hosts文件中,在3台服务器上分别编辑该文件输入IP与主机名称的映射关系,命令如下:

$ sudo vi /etc/hosts

域名解析配置内容如下:

10.0.0.5 node1
10.0.0.6 node2
10.0.0.7 node3
10.0.0.8 node4
配置免密登录

在集群模式下,多台服务器共同协作,需要配置各个节点之间的免密登录,避免节点之间交互时需要输入密码。在node1上生成密钥对,将密钥对复制到所有节点上,确保执行ssh连接到任意节点不会要求输入密码。配置免密登录及密钥对复制的命令如下:

$ ssh-keygen -t rsa
$ cp ~/.ssh/id_rsa.pub ~/.ssh/authorized_keys

$ ssh node1
$ ssh node2
$ ssh node3

$ scp -r .ssh hadoop@node1:~/
$ scp -r .ssh hadoop@node2:~/
$ scp -r .ssh hadoop@node3:~/

Java环境准备

Spark是用Scala语言编写的,运行在JVM环境上,需要在安装Spark的服务器上安装并配置Java。根据集群的规划,给集群中的每一个节点都安装Java环境,安装版本需要是Java 8及以上的版本。在Ubuntu操作系统中,可以通过命令来安装Java 8,命令如下:

$ sudo apt-get update
$ sudo apt-get install -y openjdk-8-jdk

安装完成后需要配置环境变量,命令如下:

$ vi .bashrc

环境变量配置内容如下:

export JAVA_HOME=/usr/lib/jvm/java-8-openjdk-amd64

Python环境准备

Spark提供了对Python的支持,提供了PySpark库,本z专栏内容以Python作为主要开发语言,需要在服务器环境中需要安装Python 3。Linux服务器通常自带Python环境,低版本的Linux自带的Python环境通常是Python 2,高版本的Linux自带的Python环境有可能是Python 3。如果自带的环境是Python 2,需要重新安装Python 3,命令如下:

$ sudo apt-get install -y python3.8

如果使用其他方式安装Python 3,推荐使用Anaconda 3安装。Anaconda 3安装过程,参考官方文档https://docs.anaconda.com/anaconda/install/linux/

安装完成以后,确保服务器上执行python3命令不会报错。

Spark安装包下载

在安装Spark之前,需要通过官方网站下载Spark的安装包, Spark的官方下载地址是https://spark.apache.org/downloads.html,下载页面如图所示。

直接点击下载链接将安装包下载到本地,再将安装包上传到需要安装Spark的Linux服务器上。

除了直接下载,还可以复制下载链接,在安装Spark的Linux服务器上通过wget等命令进行安装包的下载,wget下载命令如下:

$ wget https://dlcdn.apache.org/spark/spark-3.4.0/spark-3.4.0-bin-hadoop3.tgz

也可以通过国内镜像下载,命令如下:

$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.4.0/spark-3.4.0-bin-hadoop3.tgz

下载完成的安装包存放在用户目录下。

Hadoop安装包下载

数据文件的存放依赖于HDFS,Spark on YARN模式的部署依赖YARN,这些都需要用到Hadoop集群,所以需要下载Hadoop安装包。通过Hadoop的官方网站下载Hadoop 3.3.x的安装包,Hadoop的官方下载地址是https://hadoop.apache.org/releases.html,下载页面如图所示。

直接点击下载链接将安装包下载到本地,再将安装包上传到需要安装Hadoop的Linux服务器上。

除了直接下载,还可以复制下载链接,在安装Hadoop的Linux服务器上通过wget等命令进行安装包的下载,wget下载命令如下:

$ wget https://dlcdn.apache.org/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

也可以通过国内镜像下载,命令如下:

$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/hadoop-3.3.5/hadoop-3.3.5.tar.gz

下载完成的安装包存放在用户目录下。

结束语

好了,感谢大家的关注,今天就分享到这里了,更多详细内容,请阅读原书或持续关注专栏。

  • 17
    点赞
  • 19
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 4
    评论
### 回答1: Python大数据处理库Pyspark是一个基于Apache Spark的Python API,它提供了一种高效的方式来处理大规模数据集。Pyspark可以在分布式环境下运行,可以处理大量的数据,并且可以在多个节点上并行处理数据。Pyspark提供了许多功能,包括数据处理、机器学习、图形处理等。在实际应用中,Pyspark可以用于数据清洗、数据分析数据挖掘、数据可视化等方面。通过使用Pyspark,可以更加高效地处理大规模数据集,提高数据处理的效率和准确性。 ### 回答2: 随着数据量不断增大,大数据处理已经成为了现代企业的关键业务之一。而在众多大数据处理系统中,由Apache开发的Spark一直领先于其他系统,具有高效、可扩展、易于使用等特点。针对Python开发者而言,使用pyspark可以方便地利用Python语言来处理大规模数据分析和处理任务。 pyspark是Apache Spark的Python API,它提供了与Spark核心API对接的Python包。pyspark完全是用Python编写的,它可以方便地在Python环境中使用,并提供了一组API来操作分布式数据集和执行分布式计算。因此pyspark可以方便地通过Python语言来访问Spark的强大功能。 对于Python大数据处理任务,pyspark提供了以下优势: 1. 高效性 Spark是一种基于内存的分布式计算框架,它将数据存储在内存中以提高数据处理速度。与Hadoop相比,Spark可以提供更快的计算性能。因此,pyspark可以更快地处理大规模数据。 2. 处理能力 pyspark可以处理各种类型和格式的数据,如JSON、CSV、文本文档等。此外,pyspark可以在处理大规模数据集时自动进行分区并支持分布式数据处理。 3. 易于使用 由于pyspark是完全用Python编写的,所以它可以方便地在Python环境中使用。用户可以使用Python的所有功能来预处理、分析和可视化数据。在处理大规模数据时,pyspark可以使用Python语言的模块和标准库来处理数据。 在实际应用中,pyspark广泛用于数据处理、数据分析、机器学习等领域。pyspark的高效和易于使用性,使它成为大数据处理的理想选择。借助pyspark,Python开发者不仅可以处理大规模数据,而且可以使用Python的更丰富的科学计算和数据可视化库。 总之,pyspark是Python大数据处理的重要工具之一,它为Python开发者提供了一种方便使用和快速处理大规模数据的途径。在实际应用中,pyspark可以帮助开发者处理各种类型和格式的数据,实现机器学习任务、数据分析和可视化等任务。 ### 回答3: Python大数据处理库Pyspark是Apache Spark生态系统中的一个组件,它能够提供比Hadoop MapReduce更快的大数据处理速度。Pyspark使用Python编写,允许Python程序员轻松地进行大数据处理。 Pyspark的使用方法非常简单,只需安装Spark并在Python代码中导入SparkContext和SQLContext即可。由于Pyspark本身的高效性能和灵活性,可以通过编写简单的代码轻松地实现大数据分析和处理。 Pyspark支持多种类型的数据源,比如JSON、Avro、Parquet等。此外,Pyspark还支持分布式机器学习和图形处理。这使得Pyspark能够让Python程序员在大规模数据上进行机器学习模型的拟合与评估、图形计算和深度学习,同时也可以进行大规模的数据处理,为数据挖掘和分析提供了很好的支持。 除此之外,Pyspark还支持Spark SQL,它可以将数据存储在关系型数据库中,方便数据分析人员使用SQL式的查询语言进行数据分析和处理。 Pyspark的高并发和高可用性使其在大型数据集的处理过程中表现出色。与传统的MapReduce相比,Pyspark使用内存计算技术,能够轻松处理大型数据集的复杂计算。 总的来说,Pyspark是一个强大的大数据处理工具,可以让Python程序员轻松地进行大规模的数据处理、机器学习和深度学习。同时结合Python的灵活性,使数据分析和处理更加便捷,因此在实际应用中得到越来越广泛的应用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 4
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

wux_labs

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值