Pysprak

最新推荐文章于 2023-08-27 19:27:09 发布
最新推荐文章于 2023-08-27 19:27:09 发布
阅读量351 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq351469076/article/details/84775263
版权

local[N]代表在本地终端运行, 同时使用N个线程, N尽量使用机器CPU核心数量

pyspark --master local[N]

Pyspark方法

方法说明
sc.master查看运行模式
sc.textFile(‘file:/usr/readme.txt’)读取本地文件, 路径加file, 告诉系统要读取HDFS文件
sc.textFile.count()显示行数
sc.textFile(‘hdfs://naster:9000/a/LICENSE.txt’)读取HDFS文件, 路径加hdfs://naster:9000
************************************************************************************************************************************
sc.parallelize(List(3, 1, 2, 2, 5))创建intRDD, 转换运算
intRDD.collect()转换为List, 动作运算
intRDD.map(函数)映射, 转换运算
strRDD.filter(函数)过滤映射, 转换运算
intRDD.distinct()去重 + 排序
strRDD.randomSplit([0.4, 0.6])以随机数的方式按照4:6分成两个RDD
intRDD.groupBy(函数)转换运算, 需要sorted 动作运算
intRDD1.union(intRDD2).collect()并集运算, 类似python list的extend方法
intRDD1.intersection(intRDD2).collect()交集运算, 类似python set的&
intRDD1.subtract(intRDD2).collect()差集运算, 类似python set的-
intRDD1.cartesian(intRDD2).collect()笛卡尔乘积, 数组每个元素和另外一个数组中元素extend
intRDD.first()动作运算,取出第一项元素
intRDD1.take(4)动作运算, 取出前四项元素
intRDD1.takeOrdered(3)动作运算, 从小到大排序, 取出前三个
intRDD1.takeOrdered(3, lambda x: -x)动作运算, 从大到小排序, 取出前三个
intRDD1.stats()统计
intRDD1.min()最小
intRDD1.max()最大
intRDD1.stdev()标准差
intRDD1.count()计数
intRDD1.sum()总和
intRDD1.mean()平均
RDD.zipWithIndex()将字符串进行编号
************************************************************************************************************************************
Key-Value基本转换运算kvRDD1 = sc.parallelize([[1,2], [3,4]]) 每个数组中第一个元素是key
kvRDD1.keys().collect()列出全部key值
kvRDD1.values().collect()列出全部values值
kvRDD1.filter(lambda x: x[0] < 5)筛选, 筛选出key < 5
kvRDD1.mapValues(lambda x: x * x).collect()每个values做平方运算
kvRDD1.sortByKey(ascending=True).collect()按照key值从小到大排序, 默认是True
kvRDD1.reduceByKey(lambda x,y:x+y).collect()MapReduce运算
kvRDD1.join(kvRDD2).collect()join运算, 将两个RDD按照相同的key值join起来
kvRDD1.leftjoin(kvRDD2).collect()join运算, 将两个RDD按照相同的key值join起来, 匹配不上, 置为None
kvRDD1.rightOuterJoin(kvRDD2).collect()join运算, 将两个RDD按照相同的key值join起来, 与leftjoin相反
kvRDD1.subtractByKey(kvRDD2).collect()删除相同key值的数据
kvrdd1.countByKey()计算RDD中每一个Key的数量
kvrdd1.collectAsMap()根据key-value创建字典, value取key的数量最大值
kvrdd1.lookup(num)根据key查找对应的value
************************************************************************************************************************************
sc.broadcast(转换之后的字典)创建广播变量, 创建后不能被修改
RDD.map(lambda x: 广播变量.value[x]).collect类似map映射, 但会存储在内存中, 可节省内存和时间
sc.accumulator(初始值(double或int类型))创建累加器,使用.add自增, 在foreach中不能读取累加器的值, 循环外可以使用
************************************************************************************************************************************
RDD.persist(存储等级)指定存储等级, 默认MEMORY_ONLY存储在内存中
RDD.unpersist()取消持久化
RDD.is_cached是否持久化

在Hadoop YARN上运行pyspark

HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop pyspark --master yarn --deploy-mode client

构建Spark独立集群运行环境

  1. 复制模板文件来创建spark-env.sh
    1. cp /usr/local/spark/conf/spark-env.sh.template /usr/local/spark/conf/spark-env.sh
  2. 设置spark-env.sh
    1. sudo vim /usr/local/spark/conf/spark-env.sh
    2. 添加下面
export SPARK_MASTER_IP=master
export SPARK_WORKER_CORES=1
export SPARK_WORKER_MEMORY=512m
export SPARK_WORKER_INSTANCES=4

连接至data1, data2, data3

  1. ssh data1, ssh data2, ssh data3
  2. 创建spark目录
    1. sudo mkdir /usr/local/spark
  3. 更改所有者为hduser
    1. sudo chown hduser:hduser /usr/local/spark
  4. 注销exit
  5. 使用scp将master的spark程序复制到data1, data2, data3
    1. data1 sudo scp -r /usr/local/spark hduser@data1:/usr/local
    2. data2 sudo scp -r /usr/local/spark hduser@data2:/usr/local
    3. data3 sudo scp -r /usr/local/spark hduser@data3:/usr/local

编辑slaves文件

  1. Spark独立集群都有哪些服务器
    1. sudo vim /usr/local/spark/conf/slaves
    2. 填写下面信息
data1
data2
data3

在Spark独立集群上运行pyspark

  1. 启动Spark独立集群 /usr/local/spark/sbin/start-all.sh
    1. 也可分别运行
      1. /usr/local/spark/sbin/start-master.sh
      2. /usr/local/spark/sbin/start-slaves.sh
    2. 结束/usr/local/spark/sbin/stop-all.sh
  2. 在Spark独立集群运行pyspark程序
    1. pyspark --master spark://master:7077 --num-executors 1 --total-executor-cores 3 --executor-memory 512m

在data1, data2,data3安装Anconda

在Ipython中运行Python Spark程序

  1. 下载Anaconda2
  2. 安装Anaconda2bash Anaconda2-5.3.1-Linux-x86_64.sh -b
  3. 添加环境变量
    1. sudo vim ~/.bashrc
    2. 添加下面的东西
export PATH=/home/hduser/anaconda2/bin:$PATH

export ANACONDA_PATH=/home/hduser/anaconda2
export PYSPARK_DRIVER_PYTHON=$ANACONDA_PATH/bin/ipython
export PYSPARK_PYTHON=$ANACONDA_PATH/bin/python
  1. 使环境变量生效source ~/.bashrc
  2. 查看环境变量是否生效python --version
  3. 创建Ipython Spark工作目录mkdir -p ~/pythonwork/ipythonbook cd ~/pythonwork/ipythonbook
  4. PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" pyspark --master local[*]
  5. 远程访问jupyter
    1. 275行 263行 256行 200行

在ipython中使用yarn模式运行

  1. 切换目录cd ~/pythonbook/ipythonbook
  2. PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop MASTER=yarn-client pyspark
  3. 书上的命令不太一样

在ipython中使用Spark独立集群模式运行

  1. 启动独立集群/usr/local/spark/sbin/start-all.sh
  2. 切换目录cd ~/pythonbook/ipythonbook
  3. PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" HADOOP_CONF_DIR=/usr/local/hadoop/etc/hadoop MASTER=spark://master:7077 pyspark --num-executors 1 --total-executor-cores 2 --executor-memory 512m

Pysprak机器学习算法

协同过滤式推荐算法
优点缺点
可以达到个性化推荐冷启动问题(没有历史数据就无法分析)
不需要内容分析新用户问题: 新用户没有评分, 就不知道他的喜好
可以发现用户新的兴趣点
自动化程度高
from pyspark.mllib.recommendation import ALS	# 协同过滤式算法
from pyspark.mllib.recommendation import Rating	# 貌似没用
葬爱程序员
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
PySpark MLlib 机器学习算法库
程序员光剑
09-11 3954
作者：禅与计算机程序设计艺术 1.简介 PySpark MLlib 是 Apache Spark 生态系统中的一个开源机器学习工具包。它提供了高级的API，包括分类、回归、聚类、协同过滤等，可以用来处理大数据集，并进行训练和预测分析。本文将结合实际场景，介绍 PySpark 的机器学习 API 。
Py之pyspark：pyspark的简介、安装、使用方法之详细攻略
近期请国内外头部出版社可尽快私信博主！——心比天高，仗剑走天涯，保持热爱，奔赴向梦想！低调，谦虚，自律，反思，成长，还算是比较正能量的博主，公益免费传播……内心特别想在AI界做出一些可以推进历史进程影响力的东西(兴趣使然，有点小情怀，也有点使命感呀)…
05-06 1万+
​ Py之pyspark：pyspark的简介、安装、使用方法之详细攻略 目录 pyspark的简介 pyspark的安装 pyspark的使用方法 pyspark的简介 Spark是一个用于大规模数据处理的统一分析引擎。它提供Scala、Java、Python和R中的高级api，以及一个优化的引擎，该引擎支持用于数据分析的通用计算图。它还支持一组丰富的高级工具，包括用于SQL和DataFrames的Spark SQL、用于机器学习的MLlib、用于图形处理的Graph
【Python】PySpark
最新发布
qq_45917176的博客
08-27 1907
PySpark
PySpark入门
noobiee的博客
10-13 8178
1，通过pyspark进入pyspark单机交互式环境。 这种方式一般用来测试代码。 也可以指定jupyter或者ipython为交互环境。2，通过spark-submit提交Spark任务到集群运行。 这种方式可以提交Python脚本或者Jar包到集群上让成百上千个机器运行任务。 这也是工业界生产中通常使用spark的方式。3，通过zepplin notebook交互式执行。 zepplin是jupyter notebook的apache对应产品。4, Python安装findspark和pyspark库
PySpark 数据分析基础：PySpark 原理详解
java1527的博客
09-12 1128
总体而言，PySpark 是借助 Py4j 实现 Python 调用 Java，来驱动 Spark 应用程序，本质上主要还是 JVM runtime，Java 到 Python 的结果返回是通过本地 Socket 完成。
PySpark 相关基础知识
weixin_42331985的博客
04-12 1万+
主要介绍Pyspark相关的知识，Pycharm配置Spark，Conda管理Python环境
pyspark--RDD基本操作
jhr112的博客
03-25 1631
spark中的RDD是一个核心概念，RDD是一种弹性分布式数据集，spark计算操作都是基于RDD进行的，本文介绍RDD的基本操作。 Spark 初始化 Spark初始化主要是要创建一个SprakContext实例，该实例表示与spark集群的连接。可以通过多种方式创建。 SparkContext 直接使用SparkContext类创建一个spark上下文，主要参数是指定master和appName。 from pyspark import SparkContext sc = SprakContext(.
Python Spark创建推荐引擎（2）学习笔记十二
停止的闹钟博客
08-16 336
12.6如何训练数据 ALS训练数据格式是RatingRDD数据类型 12.6.1配置文件读取路径 以上程序判断 ·如果sc.master[0:5]是“local”，代表当前本地运行，读取文本文件。 ·sc.master[0:5]不是是“local”，就有可能是YARN client或者Spark Stand Alone,必须读取HDFS文件。 12.6.2导入-100k数据 我们使用sc.t...
pyspark-快速开始
风吴痕的博客
10-17 6665
参考地址：http://spark.apache.org/docs/latest/quick-start.html Quick Start Interactive Analysis with the Spark Shell BasicsMore on Dataset OperationsCaching Self-Contained ApplicationsWhere
pyspark入门教程
Im ok的博客哦
07-20 3万+
目录 一、windows下配置pyspark环境 1.1 jdk下载安装 1.2 Scala下载安装 1.3 spark下载安装 1.4 Hadoop下载安装 1.5 pyspark下载安装 1.6 anaconda下载安装 1.7 测试环境是否搭建成功 二、pyspark原理简介 三、pyspark使用语法 3.1 RDD的基本操作 3.2 DataFrame的基本操作 3.3 pyspark.sql.functions中的方法简介 3.4 窗口函数的使用 Pyspark学习笔
PySpark简介、搭建以及使用
菜鸟也学大数据的博客
01-29 8162
一、PySparj简介 使用场景 大数据处理或机器学习时的原型（ prototype）开发 验证算法 执行效率可能不高 要求能够快速开发 结构体系 二、PySpark集成搭建 准备环境：JDK、Spark需要提前安装好 下载Anaconbda 地址：点击这里 选择：Anaconda3-5.1.0-Linux-x86_64.sh 至于版本最好不要使用过低版本，可能无法使用 安装bzip2 缺少 bzip2 安装 Anaconda 会失败 在Linux下安装bzip2：yum insta
一文弄懂PySpark原理与实践
Haiwi-Song
03-12 1万+
文章目录一、PySpark 的背后原理二、文档三、pyspark读写dataframe四、通过spark-submit提交任务模板示例五、代码示例1、wordcount.py2、使用PySpark语言开发操作Hive 一、PySpark 的背后原理 架构图： 其中白色部分是新增的Python进程，在Driver端，通过Py4j实现在Python中调用Java的方法，即将用户写的PySpark程序...
PySpark | PySpark库 | 本机开发环境搭建 | 分布式代码执行分析
liujiesxs的博客
06-21 7142
PySpark库介绍、本机开发环境配置、分布式代码解析
spark的介绍和pyspark的使用
张张张
03-31 9万+
从这个名字pyspark就可以看出来,它是由python和spark组合使用的.相信你此时已经电脑上已经装载了hadoop,spark,python3.那么我们现在开始对pyspark进行了解一番(当然如果你不想了解直接往下翻找pyspark的使用):1. 背景:    产生与加州大学伯克利分校AMP实验室,2013年6月称为Apache成为孵化项目,使用Scala语言进行实现的,而Scala建立...
pyspark的使用和操作(基础整理)
热门推荐
公众号：瑞行AI
11-08 9万+
Spark框架是使用Scala函数式编程语言开发的，支持Java编程，Java与Scala可以互操作。此外，Spark提供了Python编程接口，Spark使用Py4J实现Python与Java的互操作，从而可以使用Python编写Spark程序。Spark还提供了一个Python_Shell，即pyspark，从而可以以交互的方式使用Python编写Spark程序。 有关Spark的基本架构介绍
pyspark使用教程（一）
qq_29153321的博客
03-18 2万+
使用Pyspark教程，参考《Spark快速大数据分析》 1.Spark背景 Apache Spark是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce...
pyspark
咖啡男孩之SRE之路
03-13 1万+
本文主要介绍python如何通过pyspark的API操作spark
pyspark模型训练
qq_19072921的博客
03-30 3130
1、pyspark启动 正常情况pyspark shell的启动成功后的界面： [admin@datacenter4 ~]$ pyspark Python 2.7.5 (default, Nov 16 2020, 22:23:17) [GCC 4.8.5 20150623 (Red Hat 4.8.5-44)] on linux2 Type "help", "copyright", "credits" or "license" for more information. Welcome to ...
Ubuntu安装hadoop集群 hive spark scala
malingyu的专栏
10-21 1158
hadoop spark hive
linux如何在界面和终端的不同模式下运行pyspark？
qq_42220922的博客
09-09 916
一， 界面打开 1,直接输入jupyter notebook后打开界面 查看运行模式： 输入sc.master 若输出为：local[*]，则表示它是在本地模式下运行 2，如何使用jupyter notebook在spark中运行 输入： PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=”notebook“ MASTER=sp...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

葬爱程序员

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值