数据整理

最新推荐文章于 2022-02-16 21:27:00 发布
最新推荐文章于 2022-02-16 21:27:00 发布
阅读量527 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43668299/article/details/107166881
版权
本文介绍了如何使用Spark进行数据预处理，包括配置Spark环境、读取HDFS数据、数据清洗、列类型转换、热独编码等步骤。通过分析原始数据，确定了关键特征并进行了编码处理，为后续的模型训练做准备。
摘要由CSDN通过智能技术生成

8.1 分析并预处理raw_sample数据集
import os

配置spark driver和pyspark运行时，所使用的python解释器路径

PYSPARK_PYTHON = “/root/miniconda3/bin/python3”
os.environ[“PYSPARK_PYTHON”] = PYSPARK_PYTHON
os.environ[“PYSPARK_DRIVER_PYTHON”] = PYSPARK_PYTHON

spark配置信息

from pyspark import SparkConf
from pyspark.sql import SparkSession

SPARK_APP_NAME = “preprocessingRawSample”
SPARK_URL = “spark://192.168.199.126:7077”

conf = SparkConf() # 创建spark config对象
config = (
(“spark.app.name”, SPARK_APP_NAME), # 设置启动的spark的app名称，没有提供，将随机产生一个名称
(“spark.executor.memory”, “2g”), # 设置该app启动时占用的内存用量，默认1g
(“spark.master”, SPARK_URL), # spark master的地址
(“spark.executor.cores”, “2”) # 设置spark executor使用的CPU核心数

(‘spark.sql.pivotMaxValues’, ‘99999’), # 当需要pivot DF，且值很多时，需要修改，默认是10000

)

查看更详细配置及说明：https://spark.apache.org/docs/latest/configuration.html

conf.setAll(config)

利用config对象，创建spark session

spark = SparkSession.builder.config(conf=conf).getOrCreate()

从HDFS中加载样本数据信息

df = spark.read.csv(“file:///root/jupyter_code/raw_sample.csv”, header=True)
df.show() # 展示数据，默认前20条
df.printSchema()
显示结果:

±-----±---------±---------±----------±-----±–+
| user|time_stamp|adgroup_id| pid|nonclk|clk|
±-----±---------±---------±----------±-----±–+
|581738|1494137644| 1|430548_1007| 1| 0|
|449818|1494638778| 3|430548_1007| 1| 0|
|914836|1494650879| 4|430548_1007| 1| 0|
|914836|1494651029| 5|430548_1007| 1| 0|
|399907|1494302958| 8|430548_1007| 1| 0|
|628137|1494524935| 9|430548_1007| 1| 0|
|298139|1494462593| 9|430539_1007| 1| 0|
|775475|1494561036| 9|430548_1007| 1| 0|
|555266|1494307136| 11|430539_1007| 1| 0|
|117840|1494036743| 11|430548_1007| 1| 0|
|739815|1494115387| 11|430539_1007| 1| 0|
|623911|1494625301| 11|430548_1007| 1| 0|
|623911|1494451608| 11|430548_1007| 1| 0|
|421590|1494034144| 11|430548_1007| 1| 0|
|976358|1494156949| 13|430548_1007| 1| 0|
|286630|1494218579| 13|430539_1007| 1| 0|
|286630|1494289247| 13|430539_1007| 1| 0|
|771431|1494153867| 13|430548_1007| 1| 0|
|707120|1494220810| 13|430548_1007| 1| 0|
|530454|1494293746| 13|430548_1007| 1| 0|
±-----±---------±---------±----------±-----±–+
only showing top 20 rows

root
|-- user: string (nullable = true)
|-- time_stamp: string (nullable = true)
|-- adgroup_id: string (nullable = true)
|-- pid: string (nullable = true)
|-- nonclk: string (nullable = true)
|-- clk: string (nullable = true)
分析数据集字段的类型和格式
查看是否有空值
查看每列数据的类型
查看每列数据的类别情况
print(“样本数据集总条目数：”, df.count())

约2600w

print(“用户user总数：”, df.groupBy(“user”).count().count())

约 114w，略多余日志数据中用户数

print(“广告id adgroup_id总数：”, df.groupBy(“adgroup_id”).count().count())

约85w

print(“广告展示位pid情况：”, df.groupBy(“pid”).count().collect())

只有两种广告展示位，占比约为六比四

print(“广告点击数据情况clk：”, df.groupBy(“clk”).count().collect())

点和不点比率约： 1:20

显示结果:

样本数据集总条目数： 26557961
用户user总数： 1141729
广告id adgroup_id总数： 846811
广告展示位pid情况： [Row(pid=‘430548_1007’, count=16472898), Row(pid=‘430539_1007’, count=10085063)]
广告点击数据情况clk： [Row(clk=‘0’, count=25191905), Row(clk=‘1’, count=1366056)]
使用dataframe.withColumn更改df列数据结构；使用dataframe.withColumnRenamed更改列名称

更改表结构，转换为对应的数据类型

from pyspark.sql.types import StructType, StructField, IntegerType, FloatType, LongType, StringType

打印df结构信息

df.printSchema()

更改df表结构：更改列类型和列名称

raw_sample_df = df.
withColumn(“user”, df.user.cast(IntegerType())).withColumnRenamed(“user”, “userId”).
withColumn(“time_stamp”, df.time_stamp.cast(LongType())).withColumnRenamed(“time_stamp”, “timestamp”).
withColumn(“adgroup_id”, df.adgroup_id.cast(IntegerType())).withColumnRenamed(“adgroup_id”, “adgroupId”).
withColumn(“pid”, df.pid.cast(StringType())).
withColumn(“nonclk”, df.nonclk.cast(IntegerType())).
withColumn(“clk”, df.clk.cast(IntegerType()))
raw_sample_df.printSchema()
raw_sample_df.show()
显示结果:

root
|-- user: string (nullable = true)
|-- time_stamp: string (nullable = true)
|-- adgroup_id: string (nullable = true)
|-- pid: string (nullable = true)
|-- nonclk: string (nullable = true)
|-- clk: string (nullable = true)

root
|-- userId: integer (nullable = true)
|-- timestamp: long (nullable = true)
|-- adgroupId: integer (nullable = true)
|-- pid: string (nullable = true)
|-- nonclk: integer (nullable = true)
|-- clk: integer (nullable = true)

±-----±---------±--------±----------±-----±–+
|userId| timestamp|adgroupId| pid|nonclk|clk|
±-----±---------±--------±----------±-----±–+
|581738|1494137644| 1|430548_1007| 1| 0|
|449818|1494638778| 3|430548_1007| 1| 0|
|914836|1494650879| 4|430548_1007| 1| 0|
|914836|1494651029| 5|430548_1007| 1| 0|
|399907|1494302958| 8|430548_1007| 1| 0|
|628137|1494524935| 9|430548_1007| 1| 0|
|298139|1494462593| 9|430539_1007| 1| 0|
|775475|1494561036| 9|430548_1007| 1| 0|
|555266|1494307136| 11|430539_1007| 1| 0|
|117840|1494036743| 11|430548_1007| 1| 0|
|739815|1494115387| 11|430539_1007| 1| 0|
|623911|1494625301| 11|430548_1007| 1| 0|
|623911|1494451608| 11|430548_1007| 1| 0|
|421590|1494034144| 11|430548_1007| 1| 0|
|976358|1494156949| 13|430548_1007| 1| 0|
|286630|1494218579| 13|430539_1007| 1| 0|
|286630|1494289247| 13|430539_1007| 1| 0|
|771431|1494153867| 13|430548_1007| 1| 0|
|707120|1494220810| 13|430548_1007| 1| 0|
|530454|1494293746| 13|430548_1007| 1| 0|
±-----±---------±--------±----------±-----±–+
only showing top 20 rows
特征选取（Feature Selection）

特征选择就是选择那些靠谱的Feature，去掉冗余的Feature，对于搜索广告，Query关键词和广告的匹配程度很重要；但对于展示广告，广告本身的历史表现，往往是最重要的Feature。

根据经验，该数据集中，只有广告展示位pid对比较重要，且数据不同数据之间的占比约为6:4，因此pid可以作为一个关键特征

nonclk和clk在这里是作为目标值，不做为特征

热独编码 OneHotEncode

热独编码是一种经典编码，是使用N位状态寄存器(如0和1)来对N个状态进行编码，每个状态都由他独立的寄存器位，并且在任意时候，其中只有一位有效。

假设有三组特征，分别表示年龄，城市，设备；

[“男”, “女”][0,1]

[“北京”, “上海”, “广州”][0,1,2]

[“苹果”, “小米”, “华为”, “微软”][0,1,2,3]

传统变化： 对每一组特征，使用枚举类型，从0开始；

["男“，”上海“，”小米“]=[ 0,1,1]

["女“，”北京“，”苹果“] =[1,0,0]

传统变化后的数据不是连续的，而是随机分配的，不容易应用在分类器中

而经过热独编码，数据会变成稀疏的，方便分类器处理：

["男“，”上海“，”小米“]=[ 1,0,0,1,0,0,1,0,0]

["女“，”北京“，”苹果“] =[0,1,1,0,0,1,0,0,0]

这样做保留了特征的多样性，但是也要注意如果数据过于稀疏(样本较少、维度过高)，其效果反而会变差

Spark中使用热独编码

注意：热编码只能对字符串类型的列数据进行处理

StringIndexer：对指定字符串列数据进行特征处理，如将性别数据“男”、“女”转化为0和1

OneHotEncoder：对特征列数据，进行热编码，通常需结合StringIndexer一起使用

Pipeline：让数据按顺序依次被处理，将前一次的处理结果作为下一次的输入

特征处理

‘’‘特征处理’’’
‘’’
pid 资源位。该特征属于分类特征，只有两类取值，因此考虑进行热编码处理即可，分为是否在资源位1、是否在资源位2 两个特征
‘’’
from pyspark.ml.feature import OneHotEncoder
from pyspark.ml.feature import StringIndexer
from pyspark.ml import Pipeline

StringIndexer对指定字符串列进行特征处理

stringindexer = StringIndexer(inputCol=‘pid’, outputCol=‘pid_feature’)

对处理出来的特征处理列进行，热独编码

encoder = OneHotEncoder(dropLast=False, inputCol=‘pid_feature’, outputCol=‘pid_value’)

利用管道对每一个数据进行热独编码处理

pipeline = Pipeline(stages=[stringindexer, encoder])
pipeline_model = pipeline.fit(raw_sample_df)
new_df = pipeline_model.transform(raw_sample_df)
new_df.show()
显示结果:

±-----±---------±--------±----------±-----±–±----------±------------+
|userId| timestamp|adgroupId| pid|nonclk|clk|pid_feature| pid_value|
±-----±---------±--------±----------±-----±–±----------±------------+
|581738|1494137644| 1|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|449818|1494638778| 3|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|914836|1494650879| 4|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|914836|1494651029| 5|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|399907|1494302958| 8|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|628137|1494524935| 9|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|298139|1494462593| 9|430539_1007| 1| 0| 1.0|(2,[1],[1.0])|
|775475|1494561036| 9|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|555266|1494307136| 11|430539_1007| 1| 0| 1.0|(2,[1],[1.0])|
|117840|1494036743| 11|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|739815|1494115387| 11|430539_1007| 1| 0| 1.0|(2,[1],[1.0])|
|623911|1494625301| 11|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|623911|1494451608| 11|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|421590|1494034144| 11|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|976358|1494156949| 13|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|286630|1494218579| 13|430539_1007| 1| 0| 1.0|(2,[1],[1.0])|
|286630|1494289247| 13|430539_1007| 1| 0| 1.0|(2,[1],[1.0])|
|771431|1494153867| 13|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|707120|1494220810| 13|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
|530454|1494293746| 13|430548_1007| 1| 0| 0.0|(2,[0],[1.0])|
±-----±---------±--------±----------±-----±–±----------±------------+
only showing top 20 rows
返回字段pid_value是一个稀疏向量类型数据 pyspark.ml.linalg.SparseVe

最低0.47元/天 解锁文章
孤数不证
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
快学Big Data -- Spark SQL总结（二十四)
知识的力量
09-04 3708
Spark  SQL 总结 概述 Spark  Sql 是用来处理结构化数据的一个模块，它提供了一个编程抽象叫做DataFrame并且作为分布式SQL查询引擎的作用。 特点 spark  sql 要比hive执行的速度要快，原因在于spark sql不用通过mapreduce来执行程序，减少了执行的复杂性。 Spark sql 可以将数据转化为RDD(内存中)，大大提高了执行的效率。...
Spark2.x学习笔记：Spark SQL程序设计
weixin_42073629的博客
07-11 265
1、RDD的局限性 RDD仅表示数据集，RDD没有元数据，也就是说没有字段语义定义。 RDD需要用户自己优化程序，对程序员要求较高。 从不同数据源读取数据相对困难。 合并多个数据源中的数据也较困难。 2 DataFrame和Dataset （1）DataFrame 由于RDD的局限性，Spark产生了DataFrame。DataFrame=RDD+Schema 其中Schema是就是元数据，是语义描述信息。 在Spark1.3之前，DataFrame被称为SchemaRDD。以行为单位构成...
Apache Spark DataFrames入门指南：操作DataFrame
u011007180的博客
07-17 6974
本系列文章翻译自：《scala data analysis cookbook》第二章：Getting Started with Apache Spark DataFrames。原书是基于Spark 1.4.1编写的，我这里使用的是Spark 1.6.0，丢弃了一些已经标记为遗弃的函数。并且修正了其中的错误。 　　一、从csv文件创建DataFrame 　　　　如何做？ 　　　　如何工作的
spark SQL学习（spark连接 mysql）
超级帅的一个小伙子的博客
04-23 796
spark连接mysql（打jar包方式） package wujiadong_sparkSQLimport java.util.Propertiesimport org.apache.spark.sql.SQLContext import org.apache.spark.{SparkConf, SparkContext}/** * Created by Administrator on 2
Spark ML 协同过滤算法
yang灬仔
06-18 3883
1 什么是协同过滤 协同过滤是利用集体智慧的一个典型方法。要理解什么是协同过滤 (Collaborative Filtering, 简称 CF)，首先想一个简单的问题，如果你现在想看个电影，但你不知道具体看哪部，你会怎么做？大部分的人会问问周围的朋友，看看最近有什么好看的电影推荐， 而我们一般更倾向于从口味比较类似的朋友那里得到推荐。这就是协同过滤的核心思想。 换句话说，就是借鉴和你相关人群的...
新版TCGA数据整理，通过R语言实现TCGA数据整理
04-05
新版TCGA数据的整理，将TCGA单个转录组数据整理成列为患者，行为基因的矩阵。可以通过修改参数整理Count、FPKM、TPM数据，根据自己的需要进行选择。
SQLSERVERS 数据整理方法
09-11
在SQLSERVERS中，数据整理是一项重要的维护任务，它涉及到数据库结构优化、数据迁移和性能提升等多个方面。本文将详细阐述一种数据整理方法，适用于那些遇到数据库运行缓慢问题的管理员。 首先，数据整理的第一步是...
数据整理及数据分析pdf
最新发布
07-20
1.1 数据整理 一、实验目的和要求: 能熟练的进行统计数据的录入、分组、汇总及各种常用统计图表的绘制。 二、实验内容: 1、数据的录入 2、数据的排序 3、数据的分组 4、数据透视分析 5、常用统计图表的绘制 三、统计...
通过Spark读写Hudi
qq_38304392的博客
02-16 3184
这个更全：Spark 增删改查 Hudi代码 一、使用Hudi环境准备 1.安装HDFS分布式文件系统：存储Hudi数据 Hadoop 2.8.0 首次格式化：hdfs namenode -format ./hadoop-daemon.sh start namenode ./hadoop-daemon.sh start datanode 测试：h...
【机器学习小案例篇】根据客户类型制定营销策略
羽化成蝶
03-01 364
from pyspark.sql import SparkSession import pandas as pd from sklearn import preprocessing In[7]: #创建SparkSession spark = SparkSession.builder \ .master("local") \ .appName("Ma...
Spark报错：The pivot column feature has more than 10000 distinct values
小白白的博客
07-27 1341
（作者：陈玓玏 data-master) 用pyspark做窄表转宽表的时候，出现报错： pyspark.sql.utils.AnalysisException: u'The pivot column feature has more than 10000 distinct values, this could indicate an error. If this was intended, set spark.sql.pivotMaxValues to at least the number o
Tensorflow2.x的记录
weixin_43213607的博客
10-20 328
一、keras与eager执行模式 eager执行模式可以仅仅通过组装层就可以定义、训练并评估模型 二、Eager模式 在tf2.x中，默认执行的是eager模式 1.eager模式返回的是tf.Tensorf对象，而静态图模式执行回话后，返回的是Numpy数组对象 2.在eager模式中，print返回的tf.Tensor对象与静态图的区别： 静态图返回例子的是: ...
pivotMaxValues报错
大师兄你家猴跑啦的博客
05-04 526
1、出现错误的操作    在列转行且用指定的列的值填充时报错，且列转行的字段个数超过10000个；2、具体错误Exception in thread "main" org.apache.spark.sql.AnalysisException: The pivot column field_name has more than 10000 distinct values, this cou ld i...
rdd
weixin_43668299的博客
01-06 280
练习 案例1：map filter map:所有数据按照map中的参数对应的函数来处理并产生一个新的RDD filter：所有数据按照map中的参数对应的函数(必须存在返回boolean的函数)来处理，并产生一个新的RDD rdd1 = sc.parallelize([1,2,3,4,5]) rdd2 = rdd1.map(lambda x:x*2) rdd3 = rdd2.filter(lamb...
个性化广告推荐系统（实战）-1-协同过滤篇
putdoor的博客
05-05 4632
一. 数据集介绍与实现分析 1. 数据集介绍 本项目使用天池数据集，淘宝广告展示/点击数据集 – Ad Display/Click Data raw_sample 淘宝网站中随机抽样了114万用户8天内的广告展示/点击日志（2600万条记录）构成原始的样本数据: 字段 描述 user_id 脱敏过的用户ID adgroup_id 脱敏过的广告单元ID time_stamp ...
如何使用Python和Apache Spark处理日志数据
cumo3681的博客
07-09 511
当今，利用分析的最流行和有效的企业用例之一是日志分析。 如今，几乎每个组织都日复一日地运行着多个系统和基础架构。 为了有效地保持业务运行，这些组织需要知道其基础架构是否正在发挥最大的潜力。 查找涉及分析系统和应用程序日志，甚至可能对日志数据进行预测分析。 通常，所涉及的日志数据量很大，这取决于所涉及的组织基础结构的类型以及在其上运行的应用程序。 日志数据处理管道。 由于计算限制，我...
Java金额每隔三位加上一个逗号
热门推荐
qq_30063439的博客
01-05 1万+
JAVA实现给数字加逗号： 说明：将float类型的数据转换成以3位逗号隔开的字符串，并且保留两位有效数字  public static String formatTosepara(float data) { DecimalFormat df = new DecimalFormat("#,###.00");  return df.format(data); } 如果保留整数，那么 De
office数据整理
03-29
办公室数据整理是指对办公室中的各种数据进行分类、整理和管理的过程。这些数据可以包括文档、电子表格、演示文稿、邮件、联系人等。数据整理的目的是为了提高工作效率、方便查找和共享信息，并确保数据的安全性和准确性。 在进行办公室数据整理时，可以采取以下步骤： 1. 分类：将数据按照不同的类别进行分类，例如按照项目、部门、日期等进行分类。 2. 命名规范：为每个文件或文件夹设置清晰的命名规范，以便于快速识别和查找。 3. 文件夹结构：建立合理的文件夹结构，使得数据可以按照层次结构进行组织，方便浏览和管理。 4. 标签和标记：使用标签或标记来标识重要文件或需要特殊处理的文件，以便于快速定位和处理。 5. 数据备份：定期进行数据备份，确保数据的安全性和可恢复性。 6. 数据清理：定期清理无用或过期的数据，以节省存储空间并保持数据整洁。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值