pyspark预测网页分类

最新推荐文章于 2024-07-31 15:08:57 发布
最新推荐文章于 2024-07-31 15:08:57 发布
阅读量715 收藏 9
点赞数 1
分类专栏： Spark 文章标签： spark 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hackeryuan/article/details/117323924
版权

读取数据

from pyspark.context import SparkContext 
from pyspark.sql.session import SparkSession
# 读取文本文件，创建为DataFrame 结构
row_df=spark.read.format("csv").option("header","true").option("delimiter","\t").load("train.tsv")
print(row_df.count()) # 查看数据条数
row_df.printSchema() # 查看数据字段类型

7395
root
 |-- url: string (nullable = true)
 |-- urlid: string (nullable = true)
 |-- boilerplate: string (nullable = true)
 |-- alchemy_category: string (nullable = true)
 |-- alchemy_category_score: string (nullable = true)
 |-- avglinksize: string (nullable = true)
 |-- commonlinkratio_1: string (nullable = true)
 |-- commonlinkratio_2: string (nullable = true)
 |-- commonlinkratio_3: string (nullable = true)
 |-- commonlinkratio_4: string (nullable = true)
 |-- compression_ratio: string (nullable = true)
 |-- embed_ratio: string (nullable = true)
 |-- framebased: string (nullable = true)
 |-- frameTagRatio: string (nullable = true)
 |-- hasDomainLink: string (nullable = true)
 |-- html_ratio: string (nullable = true)
 |-- image_ratio: string (nullable = true)
 |-- is_news: string (nullable = true)
 |-- lengthyLinkDomain: string (nullable = true)
 |-- linkwordscore: string (nullable = true)
 |-- news_front_page: string (nullable = true)
 |-- non_markup_alphanum_characters: string (nullable = true)
 |-- numberOfLinks: string (nullable = true)
 |-- numwords_in_url: string (nullable = true)
 |-- parametrizedLinkRatio: string (nullable = true)
 |-- spelling_errors_ratio: string (nullable = true)
 |-- label: string (nullable = true)

数据转换

from pyspark.sql.functions import udf
def replace_question(x):
    return ("0" if x=="?" else x)
replace_question = udf(replace_question)
from pyspark.sql.functions import col
import pyspark.sql.types
# 将第4个字段开始转换成double类型
df=row_df.select(['url','alchemy_category']+[replace_question(col(column)).cast("double").alias(column) for column in row_df.columns[4:]])
df.printSchema() # 查看转换后数据字段类型

root
 |-- url: string (nullable = true)
 |-- alchemy_category: string (nullable = true)
 |-- alchemy_category_score: double (nullable = true)
 |-- avglinksize: double (nullable = true)
 |-- commonlinkratio_1: double (nullable = true)
 |-- commonlinkratio_2: double (nullable = true)
 |-- commonlinkratio_3: double (nullable = true)
 |-- commonlinkratio_4: double (nullable = true)
 |-- compression_ratio: double (nullable = true)
 |-- embed_ratio: double (nullable = true)
 |-- framebased: double (nullable = true)
 |-- frameTagRatio: double (nullable = true)
 |-- hasDomainLink: double (nullable = true)
 |-- html_ratio: double (nullable = true)
 |-- image_ratio: double (nullable = true)
 |-- is_news: double (nullable = true)
 |-- lengthyLinkDomain: double (nullable = true)
 |-- linkwordscore: double (nullable = true)
 |-- news_front_page: double (nullable = true)
 |-- non_markup_alphanum_characters: double (nullable = true)
 |-- numberOfLinks: double (nullable = true)
 |-- numwords_in_url: double (nullable = true)
 |-- parametrizedLinkRatio: double (nullable = true)
 |-- spelling_errors_ratio: double (nullable = true)
 |-- label: double (nullable = true)

划分训练集和测试集

# 存入缓存中
train_df, test_df = df.randomSplit([0.7, 0.3])
train_df.cache()
test_df.cache()

DataFrame[url: string, alchemy_category: string, alchemy_category_score: double, avglinksize: double, commonlinkratio_1: double, commonlinkratio_2: double, commonlinkratio_3: double, commonlinkratio_4: double, compression_ratio: double, embed_ratio: double, framebased: double, frameTagRatio: double, hasDomainLink: double, html_ratio: double, image_ratio: double, is_news: double, lengthyLinkDomain: double, linkwordscore: double, news_front_page: double, non_markup_alphanum_characters: double, numberOfLinks: double, numwords_in_url: double, parametrizedLinkRatio: double, spelling_errors_ratio: double, label: double]

使用StringIndexer对alchemy_category进行编码

from pyspark.ml.feature import StringIndexer
categoryIndexer=StringIndexer(inputCol='alchemy_category', outputCol='alchemy_category_Index')
categoryTransfomer = categoryIndexer.fit(df)
category_train = categoryTransfomer.transform(train_df)
# 查看编码后前五个编码
category_train.select("alchemy_category", "alchemy_category_Index").show(5) 

+------------------+----------------------+
|  alchemy_category|alchemy_category_Index|
+------------------+----------------------+
|arts_entertainment|                   2.0|
|                 ?|                   0.0|
|                 ?|                   0.0|
|          business|                   3.0|
|arts_entertainment|                   2.0|
+------------------+----------------------+
only showing top 5 rows

使用OneHotEncoder进行独热编码

from pyspark.ml.feature import OneHotEncoder
onehot=OneHotEncoder(dropLast= False, inputCol="alchemy_category_Index", outputCol= "alchemy_category_vector")
df2 = onehot.transform(category_train)
# 输出前五行数据
df2.select("alchemy_category", "alchemy_category_Index", "alchemy_category_vector").show(5)

+------------------+----------------------+-----------------------+
|  alchemy_category|alchemy_category_Index|alchemy_category_vector|
+------------------+----------------------+-----------------------+
|arts_entertainment|                   2.0|         (14,[2],[1.0])|
|                 ?|                   0.0|         (14,[0],[1.0])|
|                 ?|                   0.0|         (14,[0],[1.0])|
|          business|                   3.0|         (14,[3],[1.0])|
|arts_entertainment|                   2.0|         (14,[2],[1.0])|
+------------------+----------------------+-----------------------+
only showing top 5 rows

合并特征

from pyspark.ml.feature import VectorAssembler
# 选择要进行转换的多个特征
asseblerInputs = ["alchemy_category_vector"] + row_df.columns[4: -1]
assembler = VectorAssembler(inputCols=asseblerInputs, outputCol= "features")
df3 = assembler.transform(df2)
print(df3.columns) # 查看数据的所有列

['url', 'alchemy_category', 'alchemy_category_score', 'avglinksize', 'commonlinkratio_1', 'commonlinkratio_2', 'commonlinkratio_3', 'commonlinkratio_4', 'compression_ratio', 'embed_ratio', 'framebased', 'frameTagRatio', 'hasDomainLink', 'html_ratio', 'image_ratio', 'is_news', 'lengthyLinkDomain', 'linkwordscore', 'news_front_page', 'non_markup_alphanum_characters', 'numberOfLinks', 'numwords_in_url', 'parametrizedLinkRatio', 'spelling_errors_ratio', 'label', 'alchemy_category_Index', 'alchemy_category_vector', 'features']

基于pipeline通过决策树进行预测

from pyspark.ml import Pipeline
from pyspark.ml.feature import StringIndexer, OneHotEncoder, VectorAssembler
from pyspark.ml.classification import DecisionTreeClassifier
 
stringIndex = StringIndexer(inputCol="alchemy_category", outputCol="alchemy_category_index")
onehoter=OneHotEncoder(dropLast=False,inputCol="alchemy_category_index", outputCol="alchemy_category_vector")
assemleInputs = ["alchemy_category_vector"] + row_df.columns[4: -1]
assembler = VectorAssembler(inputCols=asseblerInputs, outputCol="features")
dt=DecisionTreeClassifier(labelCol="label",featuresCol="features",impurity="gini", maxDepth=10, maxBins=14)
pipeline = Pipeline(stages = [stringIndex, onehoter, assembler, dt])
pipeline.getStages() # 查看pipeline的阶段

[StringIndexer_460bba4dba684346139d,
 OneHotEncoder_43f8be793b2bfc1bda6c,
 VectorAssembler_4117bdc62478e1e7c978,
 DecisionTreeClassifier_4bbe9381cabc88a82edc]

训练模型

pipelineModel = pipeline.fit(train_df)
pipelineModel.stages[3]
# 进行预测
predicted = pipelineModel.transform(test_df)
# 查看预测类别和概率
predicted.select("rawPrediction", "probability", "prediction", "label").take(5)

[Row(rawPrediction=DenseVector([3.0, 45.0]), probability=DenseVector([0.0625, 0.9375]), prediction=1.0, label=1.0),
 Row(rawPrediction=DenseVector([103.0, 111.0]), probability=DenseVector([0.4813, 0.5187]), prediction=1.0, label=0.0),
 Row(rawPrediction=DenseVector([27.0, 156.0]), probability=DenseVector([0.1475, 0.8525]), prediction=1.0, label=1.0),
 Row(rawPrediction=DenseVector([168.0, 274.0]), probability=DenseVector([0.3801, 0.6199]), prediction=1.0, label=1.0),
 Row(rawPrediction=DenseVector([24.0, 92.0]), probability=DenseVector([0.2069, 0.7931]), prediction=1.0, label=1.0)]

利用auc对模型进行评估

from pyspark.ml.evaluation import BinaryClassificationEvaluator
evaluator = BinaryClassificationEvaluator(rawPredictionCol="rawPrediction", labelCol="label", metricName="areaUnderROC")
auc = evaluator.evaluate(predicted)
auc

0.6445965905518819

使用TrainValidationSplit找到最好模型参数

from pyspark.ml.tuning import ParamGridBuilder, TrainValidationSplit
 
paramGrid = ParamGridBuilder().addGrid(dt.impurity, ["gini", "entropy"]).addGrid(dt.maxDepth, [5, 10, 15]).addGrid(dt.maxBins, [10, 15, 20]).build()
# 在训练集找到最好的参数
tsv = TrainValidationSplit(estimator=dt, evaluator=evaluator, estimatorParamMaps=paramGrid, trainRatio=0.8)
tsv_pipeline = Pipeline(stages = [stringIndex, onehoter, assembler, tsv]) # 将dt转换成tsv 
tsv_pipelineModel = tsv_pipeline.fit(train_df)
bestModel = tsv_pipelineModel.stages[3].bestModel # 找出最好的模型
bestModel
tsv_prediction = tsv_pipelineModel.transform(test_df)
tsv_auc = evaluator.evaluate(tsv_prediction)
tsv_auc

0.6469125299137065

使用交叉验证方法

from pyspark.ml.tuning import CrossValidator
 
cv=CrossValidator(estimator=dt,evaluator=evaluator,estimatorParamMaps=paramGrid,numFolds=3)
cv_pipeline = Pipeline(stages = [stringIndex, onehoter, assembler, cv])
cv_pipelineModel = cv_pipeline.fit(train_df)
bestModel = cv_pipelineModel.stages[3].bestModel
bestModel
cv_prediction = cv_pipelineModel.transform(test_df)
cv_auc = evaluator.evaluate(cv_prediction)
cv_auc  

0.6469125299137065

使用随机森林进行预测

from pyspark.ml.classification import RandomForestClassifier
 
rf = RandomForestClassifier(labelCol="label", featuresCol="features", numTrees=50)
rfpipeline = Pipeline(stages = [stringIndex, onehoter, assembler, rf])
rfpipelineModel = rfpipeline.fit(train_df)
rf_preddiction = rfpipelineModel.transform(test_df)
evaluator.evaluate(rf_preddiction) 

0.7437341450211594

训练数据 train.tsv 下载网址：https://share.weiyun.com/qGM0bxwT

HackerLZH
关注
专栏目录
用pyspark学习《应用预测建模》（十）分类模型的效果度量、逻辑回归
littlehuangnan的博客
09-13 785
分类问题 逻辑回归 gbdt 交叉熵
基于决策树的网页分类（Python+Spark实现）
quintind的专栏
04-15 2348
1、网页分类问题 网页分类是一个经典的问题，例如：雅虎网站早期就是通过人工对网站进行分类以便于其他用户查找资料。网页分类的角度有多种，如：a、按网页类型（新闻、财经、体育、科技……）；b、按网页内容： 暂时性的（ephemeral）：文章只是在某一段时间内对读者有意义，过了这段时间就没有意义了，如：当日股市涨跌新闻； 长青的（evergreen）：读者长久会对这些文章感兴趣，如：理财观念、育...
Pyspark分类--MultilayerPerceptronClassifier
weixin_46408961的博客
03-11 770
MultilayerPerceptronClassifier class pyspark.ml.classification.MultilayerPerceptronClassifier(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, maxIter=100, tol=1e-06, seed=None, layers=None, blockSize=128, stepSize=0.03, solver=‘l-bfgs
Pyspark分类--OneVsRest
weixin_46408961的博客
03-11 357
OneVsRest class pyspark.ml.classification.OneVsRest(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, classifier=None, weightCol=None, parallelism=1) 将多类分类简化为二元分类。 使用一对一的策略执行减少。 对于具有 k 个类的多类分类，训练 k 个模型（每类一个）。 每个示例都针对所有 k 个模型进行评分，并选择得分最高
Pyspark分类--GBTClassifier
weixin_46408961的博客
03-11 4407
GBTClassifier class pyspark.ml.classification.GBTClassifier(featuresCol=‘features’, labelCol=‘label’, predictionCol=‘prediction’, maxDepth=5, maxBins=32, minInstancesPerNode=1, minInfoGain=0.0, maxMemoryInMB=256, cacheNodeIds=False, checkpointInterval=10,
pyspark 使用pyspark.ml.classification模块对蘑菇进行分类
m0_37442062的博客
06-09 2766
转载整理自https://blog.csdn.net/tonydz0523/article/details/83794961 0x01 数据准备 数据为kaggle上的关于蘑菇分类的数据，地址：https://www.kaggle.com/uciml/mushroom-classification 也可在这里下载：https://github.com/ffzs/dataset/blob/maste...
Python Spark MLlib之朴素贝叶斯分类
SanFancsgo的博客
09-12 1888
数据准备 和决策树分类一样，依然使用StumbleUpon Evergreen数据进行实验。 Local模式启动ipython notebook cd ~/pythonwork/ipynotebook PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark...
Python Spark MLlib 决策树分类
SanFancsgo的博客
09-10 3177
准备数据 StumbleUpon Evergreen数据，来源于Kaggle中的一个题目StumbleUpon Evergreen Classification Challenge。 StumbleUpon 是一个个性化推荐引擎，根据用户的兴趣行为给用户推荐网页，而有些网页内容是即时性（ephemeral）的，比如新闻股票网页（用户短暂感兴趣），有些网页是长久性的（evergreen）如体育，...
ubuntu20安装Spark和pyspark的简单使用
qq_22808061的博客
08-17 2469
Hadoop存在如下一些缺点：表达能力有限、磁盘IO开销大、延迟高、任务之间的衔接涉及IO开销、在前一个任务执行完成之前，其他任务就无法开始，难以胜任复杂、多阶段的计算任务Spark在借鉴Hadoop MapReduce优点的同时，很好地解决了MapReduce所面临的问题。...
生成一个基于spark的新闻网页分类系统的代码
03-27
由于新闻网页分类系统需要涉及到数据的处理和模型的训练，因此需要分为以下几个步骤： 1. 数据预处理：将原始的新闻网页数据进行清洗和预处理，提取出有用的特征进行后续的处理。 2. 特征提取：根据预处理后的数据...
波士顿房价预测代码pyspark-python-sklearn
12-10
波士顿房价预测相关代码
Pyspark的波士顿住房价格：Pyspark线性回归的波士顿住房价格
03-03
波士顿房屋价格与Pyspark 使用PySpark和MLlib建立波士顿房价预测的线性回归 Apache Spark已成为机器学习和数据科学中最常用和受支持的开源工具之一。 该项目是使用Apache Spark的spark.ml线性回归预测波士顿房价的温和介绍。 目标是提出一个模型来预测该地区给定房屋的中位数。 数据源 我们的数据来自Kaggle竞赛：波士顿郊区的房屋价值。 链接： ：
PySpark机器学习-分类与回归实例
mike_jun的博客
06-07 6805
1. 二元分类 预测网页是 暂时性的， 还是 长青的 （ephemeral, evergreen） 》读取文件，创建DataFrame 格式数据 from pyspark.context import SparkContext from pyspark.sql.session import SparkSession # sc = SparkContext("local") # s...
5. PySpark分类模型简明教程
最新发布
chendengyi2的博客
07-31 930
Spark集群是一种分布式计算框架，它基于内存计算，提供了高效的数据抽象和并行计算能力，能够处理大规模数据集的批处理和实时处理任务。Spark采用内存存储中间计算结果，可减少迭代运算的磁盘I/O，并通过并行计算有向无环图的优化，使其运行速度比MapReduce快100倍；Spark可以使用Hadoop YARN和Apache Mesos作为其资源管理和调度器，可以从多种数据源读取数据，如HDFS、HBase、MySQL等。
pyspark分类算法之逻辑回归模型实践【binomialLogisticRegression+multinomialLogisticRegression】
Together_CZ的博客
06-12 3427
最近在使用pyspark来进行spark编程，之前对这个没有了解过，所以接下来需要多花点时间学习这个模块了，今天主要是简单地基于官方给出来实例来实践一下逻辑回归分类模型，pyspark提供的逻辑回归分类模型主要包括：二项逻辑回归和多项逻辑回归，各自有对应的适用场景。 pyspark顾名思义就是由python和spark组合使用的。Spark提供了一个Python_Shell，...
PySpark机器学习案例--分类与聚类
大头皮鞋的博客
05-20 4497
案例一:基于逻辑回归算法的机器学习（分类） 要求：text含有“spark”的 lable 标记为1，否则标记为0 训练数据集： # 训练数据 id text label 0 "a b c d e spark" 1.0 1 "b d" 0.0 2 "spark f g h" 1.0 3 "hadoop mapreduce" 0.0 测试数据集： # 测试数据...
pyspark分类算法之决策树分类器模型实践【decisionTreeClassifier】
Together_CZ的博客
06-13 4613
本文紧接上文的逻辑回归分类器模型，实践的同样是分类算法模型，决策树模型是机器学习领域中简单却又强悍，可解释程度很高的一种模型，之前较多使用的库是sklearn，这里面提供了绝大多数机器学习模型的实现和应用方法，很nice的，现在要基于spark来完成决策树模型的简单使用，同样是依托于官方提供的实例，在完整地理解透彻之后，才会进行自己的设计与改造，这是我一般的学习思路。 ...
PySpark之机器学习库ML(分类、聚类、回归)
malingyu的专栏
09-21 624
2、创建transformers。4、创建pipeline。3、创建逻辑回归模型。
利用PySpark进行迁移学习的多类图像分类
架构师小秘圈
08-11 2016
在本文中，我们将演示计算机视觉问题，它具有结合两种最先进技术的能力：深度学习和Apache Spark。我们将利用深度学习管道的强大功能来解决多类图像分类问题。PySpa...
pyspark预测波士顿房价
06-06
好的，我可以为您提供一个基于Pyspark的波士顿房价预测模型的代码示例。首先，我们需要加载波士顿房价数据集： ```python from pyspark.ml.regression import LinearRegression # 加载波士顿房价数据集 dataset = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值