使用PySpark处理数据

使用PySpark处理数据

---

一、数据准备

本文主要是做为一个PySpark的入手实例来做，数据来源网络。主要用到两个数据文件：action.txt，document.txt。下表为action.txt，数据格式：userid-docid-behaivor-time-ip，即：用户编码-文档编码-行为-日期-IP地址

下表为document.txt，数据格式：docid-channelname-source-keyword:score，即：文档编码-类别（大类）-主题（细类）-关键词：权重

二、用户点击率

用户点击率即为action.txt文件中每个用户behaivor列中1的数量除以0的数量。

1.创建SparkSession对象

2.读取拆分数据

将数据根据‘~’拆分，获取userid和behavior两列

3.统计用户的各类行为数

4.转为DataFrame格式

将userid,behavior和数量取出作为3列，并转为DataFrame格式

5.behavior列处理

根据userId进行分组，将behavior列数据进行旋转作为列标数值为cnt。并将behavior的0和1替换为“browse”和”click”。

6.填充缺失值

7.将计算的数据作为新列添加到数据

8.保存、关闭

将最后处理的数据保存到本地，关闭SparkSession

最后保存到本地的数据为多个文件，每个文件的格式如下：

三、用户点击率

使用主题（细类）给用户打标签

1.读取数据

读取docunment.txt，获取docid、source两列，即文档编码和主题（细类）两列

2.创建两个DataFrame的临时视图

3.进行关联查询

4.保存、关闭

将最后处理的数据保存到本地，关闭SparkSession

导出后的数据如下：

踩雷点

1、 代码开发时，可以每个操作跟一个action，方便查看数据，跑批的时候不需要每个都跟，只需要最后一个action，否则会给机器增加很多工作量。
2、 中间过程生成的DataFrame必须先建立临时视图，后面才能使用，否则会报错。