Pyspark（下）

最新推荐文章于 2024-09-13 08:55:15 发布
最新推荐文章于 2024-09-13 08:55:15 发布
阅读量150 收藏
点赞数
文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Candylx/article/details/108922723
版权

  1. 上传测试文件HDFS目录
    在这里插入图片描述

  2. 本地运行pyspark程序
    进入pysaprk
    在这里插入图片描述

  3. 查看当前运行模式
    在这里插入图片描述

  4. 读取本地文件并显示项数
    在这里插入图片描述

  5. 读取HDFS文件
    在这里插入图片描述

  6. 在Hadoop YARN运行pysaprk
    修改yarn文件yarn-site.xml
    在这里插入图片描述
    应该 放在最后

  7. 修改yarn-env.sh
    sudo gedit /usr/local/hadoop/etc/hadoop/yarn-env.sh

    ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201004212743399.png#pic_center)

声明，由于版本问题，我把java1.8皇城java1了，其他配置不变

  1. HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client 在这里插入图片描述

  2. 查看当前运行模式
    在这里插入图片描述

  3. 读取本地文件并显示项数
    在这里插入图片描述

  4. 读取HDFS文件
    在这里插入图片描述

  5. Spark伪分布版安装
    添加spark到系统环境变量
    在这里插入图片描述

    在这里插入图片描述

  6. 配置slaves
    在这里插入图片描述

       ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201005141952948.png#pic_center)

  7. spark-shell
    在这里插入图片描述

  8. 进入Hadoop的sbin目录执行./start-all.sh启动
    使用jps看下进程信息
    进入spark的sbin目录下执行./start-all.sh启动spark，
    启动后，jps查看最新进程

       ![在这里插入图片描述](https://img-blog.csdnimg.cn/20201005142513318.png#pic_center)

    在这里插入图片描述
    在这里插入图片描述

  9. http://localhost:8080，进入spark的web控制台页面
    在这里插入图片描述

  10. 使用命令./bin/spark-shell启动SparkContex
    在这里插入图片描述在这里插入图片描述

  11. 通过访问http://localhost:4040进入spark-shell web控制台页面
    在这里插入图片描述

  12. 关闭Spark
    在这里插入图片描述

  13. 关闭Hadoop
    在这里插入图片描述

  14. 重命名
    为避免与Hadoop的命令冲突：
    进入/usr/local/spark/sbin
    start-all.sh文件改名为： start-all-spark.sh
    stop-all.sh文件改名为： stop-all-spark.sh

![在这里插入图片描述](https://img-blog.csdnimg.cn/20201005150426821.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0NhbmR5bHg=,size_16,color_FFFFFF,t_70#pic_center)

  1. 在Spark Stand alone运行pyspark
    启动hadoop
    在这里插入图片描述

  2. 启动Spark Stand alone
    在这里插入图片描述

  3. 在Spark Standalone运行pyspark
    pyspark --master spark://master:7077在这里插入图片描述

  4. http://localhost:8080/在这里插入图片描述

  5. 查看当前运行模式
    在这里插入图片描述

  6. 读取本地文件并显示项数
    在这里插入图片描述

  7. 读取HDFS文件
    在这里插入图片描述

咸鱼在厦大
关注
pyspark-ml学习笔记：pyspark下使用xgboost进行分布式训练
MachineLP的专栏
08-13 8683
问题是这样的，如果我们想基于pyspark开发一个分布式机器训练平台，而xgboost是不可或缺的模型，但是pyspark ml中没有对应的API，这时候我们需要想办法解决它。 还可以参考：https://github.com/MachineLP/Spark-/tree/master/pyspark-xgboost 测试代码： （(pyspark使用可以参考这个：https://blog....
pyspark下读取minio数据
qq_42221820的博客
08-10 1064
@pyspark下读取minio数据文件的问题总结 记录一下自己花了一下午时间在pyspark读取minio数据文件遇到的坑 因为spark没法直接进行像pd.read_csv一样对HTTPresponse的url的读取，但是minio支持s3的接口，所以按照对于s3的读取就ok了。 spark读取s3文件时，需要两个额外的jar外部依赖包，hadoop-aws.jar 和aws-java-sdk.jar ，同时这两个版本是需要对应的。并且要确保hadoop-common和hadoop-aws的版本必须一致
Spark之PySpark使用
xiaohu21的博客
09-17 687
Spark之PySpark使用 1. 背景 Spark支持对多种编程语言的api，包括java、scala、python 根据官方文档介绍，python其实是使用Spark框架最多的语言 Spark支持对python的shell，api 2. 环境配置 在spark集群上安装python3， 版本必须是3.6以上 yum install -y python3 注意，安装好之后，使用python3 -V即可查看版本，python指令是指代python2版本的 2. 修改所有spark集群节点的环境
Python项目实战：使用PySpark对大数据进行分析
play_big_knife的博客
04-18 7052
Python项目实战：使用PySpark对大数据进行分析 大数据，顾名思义就是大量的数据，一般这些数据都是PB级以上。PB是数据存储容量的单位，它等于2的50次方个字节，或者在数值上大约等于1000个TB。这些数据的特点是种类繁多，有视频、有语音、有图片、有文字等等。面对这么多数据，使用常规技术就没法处理了，于是产生了大数据技术。 一、大数据Hadoop平台介绍 大数据分成了很多派系，其中最著名的是Apache Hadoop，Clouera CDH和 Hortonworks 派系。 Hadoop是一
PyCharm+PySpark远程调试的环境配置的方法
12-23
前言：前两天准备用 Python 在 Spark 上处理量几十G的数据，熟料在利用PyCharm进行PySpark远程调试时掉入深坑，特写此博文以帮助同样深处坑中的bigdata&machine learning fans早日出坑。 Version ：Spark 1.5.0、Python 2.7.14 1. 远程Spark集群环境 首先Spark集群要配置好且能正常启动，版本号可以在Spark对应版本的官方网站查到，注意：Spark 1.5.0作为一个比较古老的版本，不支持Python 3.6+；另外Spark集群的每个节点的Python版本必须保持一致。这里只讲如何加入pyspark远程调试
1. 运行pyspark
ant的博客
01-07 7831
spark有三种运行方式: 1. 本地运行spark （单机，学习、测试用） 2. yarn运行spark （集群，主要使用） 3. spark standalone运行spark （集群不常用） 在没有hadoop的情况下实现多台计算机并行计算，需要配置，不介绍   安装好spark后 在终端输入pyspark可以进入shell命令行，（此时就是本地模式） 就可以输入python...
spark的学习之路：pyspark的本地运行以及在YARN的运行
xiameimei_win的博客
03-29 5389
一、本地运行 pyspark --master local[N] local[N] 代表在本地运行，N的值代表同时执行N个程序 （1）查看当前的运行模式：sc.master （2）读取本地文件，路径之前加上“file：” testFile = sc.textFile('file:/usr/local/spark/README.md') （3）显示项数 testFil...
pyspark
03-08
pyspark 该存储库专用于pyspark的代码段。 该代码已针对为Hadoop 2.7.3构建的Spark 2.4.6进行了测试。 注意：为了通过pyspark连接到Mongodb，您需要其他jar文件，具体取决于您使用的spark版本。 有用链接：
Pyspark
03-17
大数据的Python和火花 适用于Python的课程笔记本和适用于大数据的Spark 课程大纲： 课程介绍 促销/介绍视频 课程大纲 Spark，RDD和Spark 2.0简介 课程设置 设置概述 EC2安装指南 ...带有PySpark示例
pyspark 数据处理样例数据
06-14
pyspark 数据处理样例数据
玩转人工智能（11）使用Pyspark上手机器学习
MOSCAR的专栏
06-03 783
文件系统 HDFS Hadoop Distributed File System，简称HDFS，是一个分布式文件系统。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。 GlusterFS 是一个集群的文件系统，支持PB级的数据量。GlusterFS 通过RDMA和TCP/IP方...
用yarn提交pyspark程序
euler1983的专栏
06-27 1139
首先验证sparkPi的demo可以运行成功 如果这个跑不成功，检查下/usr/local/spark/conf/spark-env.sh里是否设置了yarn_conf_dir： 用yarn提交pyspark程序 报错： 异常信息：pyspark.sql.utils.AnalysisException: ‘java.lang.RuntimeException: java.lang.RuntimeException: Unable to instantiate org.apache.h.
Hadoop生态之 Spark， Pyspark
rainyrainbow的博客
11-30 940
Spark Spark是一个类似于MapReduce的分布式计算框架，其核心是弹性分布式数据集，提供了比MapReduce更丰富的模型，可以快速在内存中对数据集进行多次迭代，以支持复杂的数据挖掘算法和图形计算算法 安装 目前Apache Spark主要支持三种分布式部署方式：分别是standalone、Spark on mesos和spark on YARN，其中，第一种类似于MapReduce ...
[Spark][Python]对HDFS 上的文件，采用绝对路径，来读取获得 RDD
weixin_34309543的博客
09-24 406
对HDFS 上的文件，采用绝对路径，来读取获得 RDD: In [102]: mydata=sc.textFile("file:/home/training/test.txt")17/09/24 06:31:04 INFO storage.MemoryStore: Block broadcast_30 stored as values in memory (estimated size 230....
pySpark记录
一步一步
02-21 5044
1、combineByKey使用 x = sc.parallelize([('B',1),('B',2),('A',3),('A',4),('A',5)]) createCombiner = (lambda el:str(el)) mergeVal = (lambda aggr,el:aggr+";"+el) mergeComb = (lambda agg1,agg2 : agg1+";"
Pyspark：读取本地文件和HDFS文件
热门推荐
abcdrachel的博客
08-29 2万+
1.读取本地文件 首先需要在目录“/usr/local/spark/mycode/wordcount”下，建好一个word.txt： hadoop@rachel-virtual-machine:/usr/local/spark$ ./bin/pyspark ./bin/pyspark: 行 45: python: 未找到命令 Python 3.6.8 (default, Jan 14 201...
大数据之Spark（二）
wslzoooo的博客
09-12 1098
Spark与Hive对比数据抽象：RDD、DataFrame（二维表数据结构）SparkSession：在rdd中，程序执行入口对象是SparkContext。SparkSession可用于SparkSQL入口对象，也可用于SparkCore中获取SparkContexthelloworld测试txt文件3,shuxue,91,yuwen,52,yuwen,443,yuwen,64,yuwen,35,yuwen,66,yuwen,3代码df2.show()
【DataSophon】Yarn配置历史服务器JobHistory和Spark集成historyServer
最新发布
康师傅没有眼泪
09-13 1195
HistoryServer服务可以让用户通过Spark UI界面，查看历史应用（已经执行完的应用）的执行细节，比如job信息、stage信息、task信息等，该功能是基于spark eventlogs日志文件的，所以必须打开eventlogs日志开关。方便在xxxx:8088查看历史任务运行日志信息。
大数据之Spark（一）
wslzoooo的博客
09-12 1395
RDD-弹性分布式数据集，是Spark中最基本的数据抽象，代表一个不可变、可分区、里面的元素可并行计算的集合RDD特性RDD有分区RDD的分区是RDD数据存储的最小单位，一份RDD数据本质上分割成多个分区（分区是物理概念RDD的方法会作用在其所有分区上RDD之间有依赖关系kv型的RDD可以有分区器（可选）RDD的分区规划会尽量靠近数据所在的服务器尽量走本地读取，避免网络读取。
Ubuntu下用pyspark执行文件
12-21
在Ubuntu下使用PySpark执行文件的方法如下： 1. 首先，确保已经安装了Java和Spark。可以使用以下命令检查它们是否已经安装： ```shell java -version spark-shell --version ``` 2. 创建一个Python脚本文件，例如`...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值