Python Spark的介绍与安装(2) 学习笔记八

最新推荐文章于 2024-04-05 14:55:41 发布
置顶 最新推荐文章于 2024-04-05 14:55:41 发布
阅读量187 收藏 1
点赞数 2
分类专栏： Python Spark Hadoop 机器学习 大数据 文章标签： pyspark spark PythonSpark 读取HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_45122866/article/details/99640773
版权
这篇博客详细介绍了如何在本地、Hadoop YARN和Spark Standalone Cluster环境下安装和运行Python Spark（pyspark）。通过创建测试文件、启动Hadoop集群、读取HDFS文件等步骤，展示了pyspark的基本操作，包括在不同模式下查看运行状态、读取文件等。
摘要由CSDN通过智能技术生成

8.5创建测试用的文本文件

8.5.1复制LICENSE.txt

cp /usr/local/hadoop/LICENSE.txt ~/wordcount/input
ll ~/wordcount/input
在这里插入图片描述

8.5.2启动所有虚拟服务器

在这里插入图片描述

8.5.3进入master虚拟机，启动Hadoop Multi-Node Cluster

start-all.sh

8.5.4上传测试文件HDFS目录

hadoop fs -mkdir -p /user/hduser/wordcount/input
cd ~/wordcount/input
hadoop fs -copyFromLocal LICENSE.txt /user/hduser/wordcount/input
hadoop fs -ls /user/hduser/wordcount/input
在这里插入图片描述

8.6本地运行pyspark程序

8.6.1进入pysaprk

pyspark --master local[4]
在这里插入图片描述

8.6.2查看当前运行模式

sc.master
在这里插入图片描述
Local[N]代表本地运行，使用N个线程（thread），也就是说可以同时执行N个程序。虽然是在本地运行，但是因为现在的CPU大多是多个核心，所以使用多个线程仍然可以加速执行。Local[*],可以指定使用的线程数，例如local[4]代表

最低0.47元/天 解锁文章
停止的闹钟
关注
专栏目录
python—spark本地安装及环境变量配置
Sun_shine99的博客
04-20 4054
Spark和Hadoop的关系是，Hadoop的MapReduce是大家广为熟知的计算框架，而Spark则是一种新的计算框架。比如，textFile("/usr/local"), textFile("/usr/local/.txt"), textFile("/usr/local/.gz")1.如果使用了本地文件系统的路径，那么，必须要保证在所有的worker节点上，也都能够采用相同的路径访问到该文件，比如，可以把该文件拷贝到每个worker节点上，或者也可以使用网络挂载共享文件系统。（注意最前面的圆点）
python——spark入门
m0_59485658的博客
12-02 3930
本文中，我们将首先讨论如何在本地机器上或者EC2的集群上设置Spark进行简单分析。然后，我们在入门级水平探索Spark，了解Spark是什么以及它如何工作（希望可以激发更多探索）。最后两节我们开始通过命令行与Spark进行交互，然后演示如何用Python写Spark应用，并作为Spark作业提交到集群上。
【python】-pyspark应用
最新发布
weixin_63106307的博客
04-05 2182
Spark。Spark是一个强大的工具，适用于大数据处理和分析，无论是学术研究还是工业应用，都能找到其用武之地。
PySpark 相关基础知识
weixin_42331985的博客
04-12 1万+
主要介绍Pyspark相关的知识，Pycharm配置Spark，Conda管理Python环境
python+spark 2.0+hadoop 机器学习与大数据实战 第八章代码
herr_kun的博客
12-10 1308
8.7  HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop/ pyspark --master yarn --deploy-mode client textfile=sc.textFile("hdfs://master:9000/user/hduser/wordcount/input/LICENSE.txt") textfile.count() exit...
Python Spark的介绍与安装(1) 学习笔记八
停止的闹钟博客
08-15 119
我们将介绍Spark2.0的安装，以及在pyspark“终端”程序界面执行Python Spark程序于本机、Hadoop YARN-client与Spark atand Alone模式。 在Spark官网中，可以看到Spark的Cluster模式架构图，网址http://spark.apache.org/docs/latest/cluster-overview.html Spark的Clust...
Python学习笔记——大数据之Spark简介与环境搭建
01-27
Spark是Apache顶级项目里面最火的大数据处理的计算引擎，它目前是负责大数据计算的工作。包括离线计算或交互式查询、数据挖掘算法、流式计算以及图计算等。 核心组件如下： SparkCore：包含Spark的基本功能；尤其是...
Spark（Python）学习（二）
雨山林稀的博客
06-07 798
Spark部署模式；pyspark；开发Spark独立应用程序；Spark集群；在集群上运行Spark应用程序；
Python学习笔记——大数据之SPARK核心
01-27
【Python学习笔记——大数据之SPARK核心】 Spark作为大数据处理框架的核心在于其Resilient Distributed Datasets（RDD），这是一种弹性分布式数据集。RDD是Spark设计的基石，它将大量数据分布在多台机器上，可以...
python spark 安装
Mikowoo007的博客
05-17 336
环境 ：Ubuntu 14.04 Scala 安装 Spark 本身是用 Scala 语言开发的，所以必须要安装 scala Scala下网网页 下载 scala_2_11_6 版本 wget https://www.scala-lang.org/files/archive/scala-2.11.6.tgz 解压文件 tar xvf scala-2.11.6.tgz 把 解压文件 迁移至 /usr/local/scala sudo mv scala-2.11.6 /usr/local/scala
Hadoop问题：Input path does not exist: hdfs://Master:9000/user/hadoop/input
weixin_30263277的博客
03-03 3259
问题描述： org.apache.hadoop.mapreduce.lib.input.InvalidInputException: Input path does not exist: hdfs://Master:9000/user/hadoop/input at org.apache.hadoop.mapreduce.lib.input.FileInputFormat.sing...
Python Spark的介绍与安装
笨笨的企鹅的专栏
07-22 2098
Python Spark的介绍与安装 1. Spark的Cluster模式架构图 2. Cluster Manager的运行模式 （1） 本地运行（Local Machine） （2） Spark Standalone Cluster （3） Hadoop YARN（Yet Another Resource Megotiator） （4）在云端运行 3. Scala的介绍与安装 （1）下...
Spark 0.9.0启动脚本——sbin/start-slaves.sh
weixin_30590285的博客
03-24 225
1. 运行sbin/spark-config.sh，设置SPARK_HOME和SPARK_CONF_DIR2. 如果conf/spark-env.sh，则运行该脚本，设置可选环境变量3. 检测环境变量SPARK_MASTER_PORT/SPARK_MASTER_IP，为master的端口/ip，默认为7077/{hostname}以上三项基本同start-master.sh相同4. 检测SPAR...
pyspark入门教程
Im ok的博客哦
07-20 3万+
目录 一、windows下配置pyspark环境 1.1 jdk下载安装 1.2 Scala下载安装 1.3 spark下载安装 1.4 Hadoop下载安装 1.5 pyspark下载安装 1.6 anaconda下载安装 1.7 测试环境是否搭建成功 二、pyspark原理简介 三、pyspark使用语法 3.1 RDD的基本操作 3.2 DataFrame的基本操作 3.3 pyspark.sql.functions中的方法简介 3.4 窗口函数的使用 Pyspark学习笔
Spark (Python版) 学习笔记（二）
u013567842的博客
04-05 472
import sys from operator import addfrom pyspark import SparkContextsc = SparkContext(appName="PythonWordCount")#1. map(func) 将func函数作用到数据集的每个元素，生成一个新的分布式的数据集并返回 a = sc.parallelize(('a', 'b', 'c')) prin
Spark—Python学习笔记.zip
02-21
本学习笔记将深入探讨如何利用PySpark进行数据处理和分析，帮助你掌握这一核心技术。 首先，PySpark是Apache Spark与Python的结合，允许开发者用Python编写Spark应用程序。它提供了丰富的数据处理接口，包括RDD...
Spark 0.9.0启动脚本——sbin/slaves.sh
weixin_30916125的博客
03-25 137
1. 如果参数小于1，返回。格式：slaves.sh [--config <conf-dir>] command...2. 执行sbin/spark-config.sh，加载基本环境变量3. 设置HOSTLIST为变量$SPARK_SLAVES的值4. 如果存在，获取--config参数，即配置文件目录，目录不存在则返回5. 执行conf/spark-env.sh6. 如果HOSTLI...
pyspark-快速开始
风吴痕的博客
10-17 6681
参考地址：http://spark.apache.org/docs/latest/quick-start.html Quick Start Interactive Analysis with the Spark Shell BasicsMore on Dataset OperationsCaching Self-Contained ApplicationsWhere
spark的介绍和pyspark的使用
热门推荐
张张张
03-31 9万+
从这个名字pyspark就可以看出来,它是由python和spark组合使用的.相信你此时已经电脑上已经装载了hadoop,spark,python3.那么我们现在开始对pyspark进行了解一番(当然如果你不想了解直接往下翻找pyspark的使用):1. 背景:    产生与加州大学伯克利分校AMP实验室,2013年6月称为Apache成为孵化项目,使用Scala语言进行实现的,而Scala建立...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值