大数据系列之Spark SQL、DataFrame和RDD数据统计与可视化

最新推荐文章于 2024-05-08 21:57:25 发布
最新推荐文章于 2024-05-08 21:57:25 发布
阅读量3k 收藏 37
点赞数 4
分类专栏： 大数据系列 # spark python 文章标签： 大数据 spark python
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/solihawk/article/details/116050157
版权
大数据系列 同时被 3 个专栏收录
14 篇文章 4 订阅
订阅专栏
spark
10 篇文章 0 订阅
订阅专栏
python
7 篇文章 0 订阅
订阅专栏

Spark大数据分析中涉及到RDD、Data Frame和SparkSQL的操作，本文简要介绍三种方式在数据统计中的算子使用。

1、在IPython Notebook运行Python Spark程序

IPython Notebook具备交互式界面，可以在Web界面输入Python命令后立刻看到结果，还可将数据分析的过程和运行后的命令与结果存储成笔记本，下次可以打开笔记本，重新执行这些命令，IPython Notebook笔记本可以包含文字、数学公式、程序代码、结果、图形等。

1.1 安装IPython

1）若无gcc，需先安装gcc

[root@tango-spark01 /]# gcc –v
[root@tango-spark01 /]# yum install gcc

2）若无pip，安装pip

[root@tango-spark01 /]# pip –v
[root@tango-spark01 /]# wget https://bootstrap.pypa.io/get-pip.py --no-check-certificate

3）安装Python开发包

[root@tango-spark01 /]# yum install python-devel

4）执行以下命令安装IPython和IPython Notebook：

[root@tango-spark01 /]# pip install ipython
[root@tango-spark01 /]# pip install urllib3
[root@tango-spark01 /]# pip install jupyter

5）输入ipython进入交互界面

在这里插入图片描述

6）输入jupyter notebook

在这里插入图片描述

1.2 IPython配置

1）创建远程连接密码

In [2]: from notebook.auth import passwd;
In [3]: passwd()
Enter password: 
Verify password: 
Out[3]: 'sha1:fea9052f4d92:114eb32c684004bf4a6196faac0b26a28156fe5d'

2）生成jupyter配置文件

[root@tango-spark01 /]# jupyter notebook --generate-config
Writing default config to: /root/.jupyter/jupyter_notebook_config.py

3）打开配置文件，设置以下内容

## The IP address the notebook server will listen on.
#c.NotebookApp.ip = 'localhost'
c.NotebookApp.ip = '0.0.0.0'
## The directory to use for notebooks and kernels.
#c.NotebookApp.notebook_dir = u''
c.NotebookApp.notebook_dir = u'/usr/local/spark/ipynotebook'
## Hashed password to use for web authentication.
#  To generate, type in a python/IPython shell:
#    from notebook.auth import passwd; passwd()
#  The string should be of the form type:salt:hashed-password.
#c.NotebookApp.password = u''
c.NotebookApp.password = u'sha1:fea9052f4d92:114eb32c684004bf4a6196faac0b26a28156fe5d'

4）打开jupyter notebook

[root@tango-spark01 /]# jupyter notebook --allow-root
[I 14:20:05.618 NotebookApp] Serving notebooks from local directory: /usr/local/spark/ipynotebook
[I 14:20:05.618 NotebookApp] The Jupyter Notebook is running at:
[I 14:20:05.619 NotebookApp] http://(tango-spark01 or 127.0.0.1):8888/
[I 14:20:05.619 NotebookApp] Use Control-C to stop this server and shut down all kernels (twice to skip confirmation).
[W 14:20:05.619 NotebookApp] No web browser found: could not locate runnable browser.
[I 14:21:00.346 NotebookApp] 302 GET / (192.168.112.1) 2.50ms
[I 14:21:00.352 NotebookApp] 302 GET /tree? (192.168.112.1) 1.71ms
[I 14:22:16.241 NotebookApp] 302 POST /login?next=%2Ftree%3F (192.168.112.1) 1.58ms

5）浏览器输入地址和端口

在这里插入图片描述

输入密码登录进去

在这里插入图片描述

1.3 在IPython Notebook中使用Spark

1）进入ipynotebook工作目录

[root@tango-spark01 /]# cd /usr/local/spark/ipynotebook
[root@tango-spark01 ipynotebook]#

2）在IPython Notebook界面中运行pyspark

[root@tango-spark01 ipynotebook]# PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook"  pyspark

3）单击New选择Python 2，新建Notebook

在这里插入图片描述

4）新建Notebook后会出现新的页面，默认notebook名称为Untitled，单击后修改名称

在这里插入图片描述

5）在Notebook运行程序代码

在这里插入图片描述

6）保存Notebook下次可继续打开使用

2、Spark SQL、DataFrame、RDD数据统计与可视化
2.1 RDD、DataFrame和Spark SQL比较

RDD和Data Frame都是Spark平台下分布式弹性数据集，都有惰性机制，在进行创建、转换时不会立即执行，等到Action时才会遍历运算。

  1. RDD API进行数据统计，主要使用map配合reduceByKey，需要有Map/Reduce概念
  2. 与RDD不同的是Data Frame更像是传统的数据库表格，除了数据以外，还记录了数据的结构信息
  3. Spark SQL则是由DataFrame派生出来，必须先创建DataFrame，然后通过登录Spark SQL temp table就可以使用Spark SQL语句，直接使用SQL语句进行查询

下表列出在进行数据统计计算时候，RDD、Data Frame和Spark SQL使用的不同方法。

Items功能描述
RDD APIuserRDD.map(lambda x:(x[2],1)).reduceByKey(lambda x,y: x+y).collect()
DataFrameuser_df.select(“gender”).groupby(“gender”).count().show()
Spark SQLsqlContext.sql(“””SELECT gender,count(*) counts FROM user_table GROUP BY gender”””).show()
2.2 创建RDD、DataFrame和Spark SQL

在Hadoop YARN-client模式运行IPython Notebook

[root@tango-spark01 ipynotebook]# PYSPARK_DRIVER_PYTHON=jupyter PYSPARK_DRIVER_PYTHON_OPTS="notebook"  HADOOP_CONF_DIR=/usr/local/spark/hadoop-2.9.0/etc/hadoop  pyspark --master yarn --deploy-mode client
  • 创建RDD

1）配置文件读取路径

global Path
if sc.master[0:5] =="local":
    Path="file:/usr/local/spark/ipynotebook/"
else:
    Path="hdfs://tango-spark01:9000/input/"
  1. 如果sc.master[0:5]是“local”，代表当前在本地运行，读取本地文件
  2. 如果sc.master[0:5]不是“local”，有可能是YARN client或Spark Stand Alone，必须读取HDFS文件

2）读取文本文件并且查看数据项数

RawUserRDD=sc.textFile(Path+"data/u.user")
RawUserRDD.count()
RawUserRDD.take(5)

3）获取每一个字段

userRDD= RawUserRDD.map(lambda line:line.split("|"))
userRDD.take(5)

在这里插入图片描述

  • 创建Data Frame

1）创建sqlContext：在Spark早期版本中，spark context是Spark的入口、SQLContext是SQL入口、HiveContext是hive入口。在Spark 2.0中，使用Spark Session可同时具备spark context、sqlContext、HiveContext功能

sqlContext=SparkSession.builder.getOrCreate()

2）定义Schema：定义DataFrames的每个字段名与数据类型

from pyspark.sql import Row
user_Rows = userRDD.map(lambda p:
    Row(userid=int(p[0]),age=int(p[1]),gender=p[2],occupation=p[3],zipcode=p[4]))
user_Rows.take(5)

在这里插入图片描述

3）创建DataFrames：使用sqlContext.createDataFrame()方法创建DataFrame

user_df=sqlContext.createDataFrame(user_Rows)
user_df.printSchema()

4）查看DataFrames数据

user_df.show(5)

5）为DataFrame创建别名：可以使用.alias帮DataFrame创建别名

df=user_df.alias("df")
df.show(5)

在这里插入图片描述

  • 使用SparkSQL

创建DataFrame后，使用该DataFrame登录Spark SQL temp table，登录后可以使用Spark SQL

1）登录临时表

user_df.registerTempTable("user_table")

2）使用Spark SQL查看项数

sqlContext.sql("SELECT count(*) counts FROM user_table").show()

3）多行输入Spark SQL语句，需要使用3个双引号引住SQL

sqlContext.sql("""
    SELECT count(*) counts
    FROM user_table
    """).show()

4）使用SparkSQL查看数据，限定数据项

sqlContext.sql("SELECT * FROM user_table").show()
sqlContext.sql("SELECT * FROM user_table").show(5)
sqlContext.sql("SELECT * FROM user_table LIMIT 5").show()

在这里插入图片描述

2.3 数据统计操作
2.3.1 筛选数据
  • 使用RDD筛选数据

RDD中使用filter方法筛选每一项数据，配合lambda语句创建匿名函数传入参数

userRDD.filter(lambda r:r[3]=='technician' and r[2]=='M' and r[1]=='24').take(5)
  • 输入DataFrames筛选数据
user_df.filter((df.occupation=='technician')&(df.gender=='M')&(df.age==24)).show()
  • 使用Spark SQL筛选数据
sqlContext.sql("""
SELECT * 
FROM user_table
where occupation='technician' and gender='M' and age=24""").show(5)
2.3.2 按字段给数据排序
  • RDD按字段给数据排序
userRDD.takeOrdered(5,key=lambda x:int(x[1]))——升序排序
userRDD.takeOrdered(5,key=lambda x:-1*int(x[1]))——降序排序
userRDD.takeOrdered(5,key=lambda x:(-int(x[1]),x[2]))——多个字段排序
  • 使用DataFrame排序
user_df.select("userid","occupation","gender","age").orderBy("age").show(5)——升序
user_df.select("userid","occupation","gender","age").orderBy("age",ascending=0).show(5)
df.orderBy(["age","gender"],ascending=[0,1]).show(5)——多个字段排序
  • 使用Spark SQL排序
sqlContext.sql("""
SELECT userid,occupation,gender,age FROM user_table
order by age desc,gender""").show(5)
2.3.3 显示不重复数据
  • RDD显示不重复数据
userRDD.map(lambda x:x[2]).distinct().collect()
  • DataFrame显示不重复数据
user_df.select("gender").distinct().show()
  • Spark SQL显示不重复数据
sqlContext.sql("select distinct gender FROM user_table").show()
2.3.4 分组统计数据

1）RDD分组统计数据

userRDD.map(lambda x:(x[2],1)).reduceByKey(lambda x,y:x+y).collect()

2）DataFrames分组统计数据

user_df.select("gender").groupby("gender").count().show()

3）Spark SQL分组统计数据

sqlContext.sql("""
SELECT gender,count(*) counts FROM user_table
group by gender""").show()
2.3.5 Join联接数据
  • 准备zipcode数据

1）拷贝数据到HDFS目录下

[root@tango-spark01 data]# hadoop fs -copyFromLocal -f /usr/local/spark/ipynotebook/data/free-zipcode-database-Primary.csv  /input/data

2）读取并查看数据

Path="hdfs://tango-spark01:9000/input/"
rawDataWithHeader=sc.textFile(Path+"data/free-zipcode-database-Primary.csv")
rawDataWithHeader.take(5)

3）删除第一项数据

header = rawDataWithHeader.first()
rawData = rawDataWithHeader.filter(lambda x:x !=header)

4）删除特殊符号

rawData.first()
rData=rawData.map(lambda x:x.replace("\"",""))
rData.first()

5）获取每一个字段

zipRDD=rData.map(lambda x:x.split(","))
zipRDD.first()
  • 创建zipcode_tab

1）创建zipCode Row的schema

from pyspark.sql import Row
zipcode_data = zipRDD.map(lambda p:
    Row(zipcode=int(p[0]),zipCodeType=p[1],city=p[2],state=p[3]))
zipcode_data.take(5)

2）Row类型数据创建DataFrames

zipcode_df=sqlContext.createDataFrame(zipcode_data)
zipcode_df.printSchema()

3）创建登录临时表

zipcode_df.registerTempTable("zipcode_table")
zipcode_df.show(10)
  • Spark SQL联接zipcode_table
sqlContext.sql("""
select u.*,z.city,z.state from user_table u
left join zipcode_table z ON u.zipcode=z.zipcode
where z.state='NY'
""").show(10)
2.3.6 使用Pandas DataFrame绘图
  • 按照不同的州统计并以直方图显示

1）转换为Pandas DataFrames

import pandas as pd
GroupByState_pandas_df = GroupByState_df.toPandas().set_index('state')
GroupByState_pandas_df

在这里插入图片描述

2）使用Pandas DataFrames绘出直方图

import matplotlib.pyplot as plt
#matplotlib inline
ax=GroupByState_pandas_df['count'].plot(kind='bar',title='State',figsize=(12,6),legend=True,fontsize=12)
plt.show()

在这里插入图片描述

  • 按照不同的职业统计并以饼图显示

1）创建Occupation_df

Occupation_df=sqlContext.sql("""
SELECT u.occupation,count(*) counts
FROM user_table u
GROUP BY occupation
""")
Occupation_df.show(5)

2）创建Occupation_pandas_df

Occupation_pandas_df=Occupation_df.toPandas().set_index('occupation')
Occupation_pandas_df

在这里插入图片描述

3）用Pandas DataFrame是绘出饼图PieChart

ax=Occupation_pandas_df['counts'].plot(kind='pie',
        title='occupation',figsize=(8,8),startangle=90,autopct='%1.1f%%')
ax.legend(bbox_to_anchor=(1.05,1),loc=2,borderaxespad=0.)
plt.show()
  1. kind=‘pie’：绘制饼图
  2. startangle=90：设置图形旋转角度
  3. autopct=’%1.1f%%’：设置显示饼图%

在这里插入图片描述

参考资料

  1. Python+Spark 2.0+Hadoop机器学习与大数据实战，林大贵

转载请注明原文地址：https://blog.csdn.net/solihawk/article/details/116050157
文章会同步在公众号“牧羊人的方向”更新，感兴趣的可以关注公众号，谢谢！
在这里插入图片描述

solihawk
关注
  • 4
    点赞
  • 踩
  • 37
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark 按两种 符号 分割字符串
lukabruce的博客
12-18 4361
# 元数据 String str= "//@颜渊-公子蝶:恭喜！！//@水城十二呆包子: 芳心纵火犯后继有人！//@安娜_专业土拨鼠:恭喜恭喜！！百万龙虾店少主登场！！//@絶対白2咩黙示録:撒金刚出生了！//@stoness打着哈欠说 :恭喜撒老师！盛世美颜后继有人！//@不能发芽的种子 :恭喜！！ //@卡李 :起什么名字？//@麦吉da法好太师囧 : 恭喜撒老" # 要求 按照 ‘/...
【Spark大作业】Spark快速大数据分析综合考察
Lenhart001的博客
06-26 633
Spark大作业
Python Spark SQL、DataFrame基本操作
H48662654的博客
02-03 1149
Python Spark SQL、DataFrame基本操作 以下所有操作均在Spark2.0版本下 通过文件创建DataFrame # 文件内容应是跟Python DataFrame形式一样，不是的话需进行转化 userRDD = sc.textFile(filePath) # 创建sqlContext，入口 sqlContext = SparkSession.builder.getOrCreat() # 定义DataFrames的每一个字段名和数据类型 from pyspark.sql import R
SparkSQL与RDD
最新发布
2401_83215220的博客
05-08 644
1.RDD是Spark的核心抽象，全称为Resillient Distributed Dataset，即弹性分布式数据集2.RDD在抽象上来说是一种元素集合，包含了数据。它是被分区的，分为多个分区，每个分区分布3.在集群中的不同节点上(分区即partition)，从而让RDD中的数据可以被并行操作。(分布式的特性)4.RDD通常通过Hadoop上的文件，即HDFS文件，来进行创建；有时也可以通过Spark应用程序中的集合来创建。
Java使用数据流DataInputStream和DataOutputStream
Harris-H的博客
11-03 805
Java使用数据流DataInputStream和DataOutputStream 流程： 1.使用数据输出流，写入数据。 2.使用数据输入流进行读入。 package Exp7; import java.io.DataInputStream; import java.io.DataOutputStream; import java.io.FileInputStream; import java.io.FileOutputStream; public class DataStreamUse {
sparksql 数据按逗号拆分成多行
woods的博客
05-20 5958
比如： 原表(表名：table1) id num 1 001,002,003 2 001,002 转换成 id num 1 001 1 002 1 003 2 001 2 002 使用lateral view explode()语法 使用方法是: select id,num_per from table1 lateral view ex...
spark小案例——RDD,sparkSQL
weixin_45399602的博客
10-10 1471
分别使用RDD和SparkSQL两种方式解决相同的数据分析问题； 项目数据 项目需求 使用RDD和SQL两种方式对数据清洗 清洗需求如下： 统计每个店铺分别有多少商品 统计每个店铺的总销售额 统计每个店铺销售额最高的前三商品，输出内容包括：店铺名，商品名和销售额其 中销售额为0的商品不进行统计计算，例如：如果某个店铺销售为 0则不进行统计 。 涉及到的pom依赖 <properties> <scala.version>2.12.10</scala.versio
Python 借助DataFrame的pivot进行数据的可视化
12-21
借助DataFrame的pivot函数进行数据的可视化 这是数据 1.把数据读取成DataFrame格式 import pandas as pd import matplotlib.pyplot as plt df = pd.read_csv('score(1).csv',header=None) data_original = {'...
spark rdd api dataframe 以及dataframe rdd dataset 相互转换 spark sql
02-14
包括spara rdd api，dataframe action操作、查询操作、join操作，dataframe rdd dataset 相互转换以及spark sql。
spark: RDD与DataFrame之间的相互转换方法
01-20
DataFrames可以从各种各样的源构建，例如：结构化数据文件，Hive中的表，外部数据库或现有RDD。 DataFrame API 可以被Scala，Java，Python和R调用。 在Scala和Java中，DataFrame由Rows的数据集表示。 在Scala API中...
spark rdd转dataframe 写入mysql的实例讲解
01-19
spark在离线批处理或者实时计算中都可以将rdd转成dataframe进而通过简单的sql命令对数据进行操作，对于熟悉sql的人来说在转换和过滤过程很方便，甚至可以有更高层次的应用，比如在实时这一块，传入kafka的topic名称...
Spark SQL常见4种数据源详解
01-19
Spark SQL的DataFrame接口支持多种数据源的操作。一个DataFrame可以进行RDDs方式的操作，也可以被注册为临时表。把DataFrame注册为临时表之后，就可以对该DataFrame执行SQL查询。 Spark SQL的默认数据源为Parquet...
【Python】PySpark 数据计算 ④ ( RDD#filter 方法 - 过滤 RDD 中的元素 | RDD#distinct 方法 - 对 RDD 中的元素去重 )
让 学习 成为一种 习惯 ( 韩曙亮 の 技术博客 )
08-02 1465
一、RDD#filter 方法 1、RDD#filter 方法简介 2、RDD#filter 函数语法 3、代码示例 - RDD#filter 方法示例 二、RDD#distinct 方法 1、RDD#distinct 方法简介 2、代码示例 - RDD#distinct 方法示例
Spark中filter算子详解介绍
CSDN 精品推荐
08-16 970
对于过滤操作在一些任务中是很常见的，我们需要根据特定的业务场景来筛选出我们需要的数据，对于这个需求我们可以使用 `filter` 这个算子来实现，只需要将筛选的逻辑封装成函数传入即可。
基于 Spark 的数据分析实践
EAWorld
06-19 3320
转载本文需注明出处：微信公众号EAWorld，违者必究。引言：Spark是在借鉴了MapReduce之上发展而来的，继承了其分布式并行计算的优点并改进了MapReduce...
RDD和SparkSQL综合应用
Python_Ai_Road的博客
01-02 929
公众号后台回复关键词：pyspark，获取本项目github地址。在pyspark大数据项目实践中，我们往往要综合应用SparkSQL和RDD来完成任务。通常，我们会使用SparkSQL...
【大数据spark SQL项目实战】日志分析（八）：使用Echarts饼图动态展示主站最受欢迎的TopN课程
kingloneye的博客
06-12 500
代码：使用Echarts饼图动态展示主站最受欢迎的TopN课程 Echarts官网 将大数据分析的数据存到mysql后，从mysql里读取数据在Echarts饼状图展示， 效果：
SparkContext应用：rdd算子 sql练习
Shixuefeng2410的博客
03-03 1433
本文主要讲解应用SparkContext做SQL练习。 数据源Broken to Harness.txt，tags.csv是从hdfs上获取的，通过SparkContext做SQL。 Broken to Harness.txt部分内容（仅供参考） Title: Broken to Harness A Story of English Domestic Life Author: Edmund Yates CHAPTER I. MR. CHURCHILL'S IDEAS ARE..
spark针对两个RDD的算子及spark-sql
围城
04-11 397
2018/04/11 提取两个RDD相同的key，看到有一个cogroup。 有一个，困惑了我很久的问题，那就是， 一个是key-vaule类型的，另一个是只有key的，就是只有一个键值。那么我想得到他们key相同的。。，向上面↑转化？ 你肯定是不能在转化的操作里面去查询，这是必然的，对于普通的RDD，他们的这类操作基于他们的元素，这种关系自然不能满足。 那么只能从key-value里面的RDD操...
基于Spark的租房信息分析与可视化
03-26
Spark是一个开源的分布式计算框架，被广泛用于大规模数据处理和分析。在租房信息分析和可视化方面，可以利用Spark的分布式计算能力来处理大量的数据，从而得到更全面、更准确的租房信息。同时，通过Spark的可视化功能，可以将分析结果以图表等形式进行展示，使得数据更直观、更具可读性。 具体来说，可以采用下面的步骤来实现基于Spark的租房信息分析与可视化： 1. 数据采集：利用爬虫或API等方式，抓取租房信息数据。可以从不同的网站（例如房天下、链家等）获取数据，保证数据的全面性和多样性。将采集到的数据存储在Hadoop HDFS或Spark RDD中，以便后续处理和分析。 2. 数据清洗和预处理：对采集到的数据进行清洗和预处理，剔除重复数据、无用数据等。通过Spark SQL和DataFrame等API，可以实现数据清洗和预处理。 3. 分析和统计：利用Spark的分布式计算能力，对预处理后的数据进行分析和统计。可以采用Spark SQL、DataFrame、MLlib等API来进行数据挖掘和机器学习分析，得到租房信息的特征及规律。 4. 可视化展示：通过Spark的可视化功能，将分析结果以图表、地图等形式进行展示。可以使用Python的Matplotlib库、Bokeh库等进行图表可视化，使用Leaflet等进行地图可视化。 通过以上步骤，可以实现对租房信息的全面分析和可视化，为租房者和租房平台提供更好的数据支持和决策参考。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值