StumbleuponAnalysis－－逻辑回归二元分类

最新推荐文章于 2023-02-21 21:09:28 发布
最新推荐文章于 2023-02-21 21:09:28 发布
阅读量604 收藏 1
点赞数 3
分类专栏： 推荐算法 文章标签： 机器学习 逻辑回归 数据挖掘 python spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42359956/article/details/105452779
版权

Spark MLlib 下的逻辑回归二元分类

训练模型

导入必要的包

import numpy as np
import pyspark
from matplotlib import pyplot as plt
from pyspark.mllib.classification import LogisticRegressionWithSGD
from pyspark.mllib.feature import StandardScaler
from pyspark.mllib.regression import LabeledPoint
from pyspark.mllib.evaluation import BinaryClassificationMetrics

演示回归曲线

x = np.linspace(0,1000,100)
y_t = x*4 + 5
y_r = y_t + np.random.randint(-1000,1000,100)
plt.plot(x,y_t,ls="-",c="r")
plt.scatter(x,y_r)

在这里插入图片描述

初始化spark的上下文对象

sc = pyspark.SparkContext(master="local[*]",appName="StumbleuponAnalysis")

准备为数据

def extract_features(fields,categories_dict,end):
    # 加载字段对应的类别id
    category_id = categories_dict[fields[3]]
    # 初始化类别特征集合 全置为0
    category_features = np.zeros(len(categories_dict))
    # 把类别id对应的位置变为1
    category_features[category_id] = 1
    # 初始化数值特征集
    numerical_features = [0.0 if f=="?" else float(f) for f in fields[4:end] ]
    # 将两个特征集合并后返回
    return np.concatenate((category_features,numerical_features))

def parpare_data(sc,scale):
    # 读入文件
    raw_lines_and_header = sc.textFile("file:/home/zh123/.jupyter/workspace/stumbleupon/train.tsv")
    # 取文件头部数据
    header_line = raw_lines_and_header.first()
    # 将数据去掉头部
    raw_non_header_data = raw_lines_and_header.filter(lambda l:l!=header_line)
    # 去掉引号
    raw_non_quot_lines = raw_non_header_data.map(lambda l:l.replace("\"",""))
    # 每行以 “\t“ 分割成多个字段
    raw_data = raw_non_quot_lines.map(lambda l:l.split("\t"))
    print("数据长度:",raw_data.count())
    # 类别字典 将文本类别映射为数值
    categories_dict = raw_data.map(lambda field:field[3]).distinct().zipWithIndex().collectAsMap()
    # 标签
    label_rdd = raw_data.map(lambda fields:float(fields[-1]))
    # 特征
    feature_rdd = raw_data.map(lambda fields:extract_features(fields,categories_dict,len(fields)-1))
    #============================vvvv 将特征数据标准化 vvvv============================================
    # 初始化一个标准执行器
    std_scaler = StandardScaler(withMean=True,withStd=True).fit(feature_rdd)
    # 将原始特征数据转换为标准特征
    scaler_features = std_scaler.transform(feature_rdd)
    # 压缩为（标签，特征）
    label_point = label_rdd.zip(scaler_features)
    # 构建LabelPoint
    label_point_rdd = label_point.map(lambda r:LabeledPoint(r[0],r[1]))
    # 根据传入的比例返回训练集，验证集，测试集， 类别映射字典
    return label_point_rdd.randomSplit(scale),categories_dict

模型评估

定义评估模型AUC值的函数

def evaluate_model(model,validation_data):
    # 根据传入的验证集通过模型产生 预测集
    predict = model.predict(validation_data.map(lambda p:p.features)).map(lambda x:float(x))
    # 将预测集和标签集 压缩成（预测值，标签值）
    predict_and_label = predict.zip(validation_data.map(lambda p:p.label))
    # 初始化二元分类矩阵
    metrics = BinaryClassificationMetrics(predict_and_label)
    # 返回AUC值，ROC曲线下的面积
    return metrics.areaUnderROC

定义综合模型评估函数

import time
def train_evaluate_model(train_data,validation_data,numIterations,stepSize,miniBatchFraction):
    # 记录模型训练开始时间
    start_time = time.time()
    # 训练模型
    model = LogisticRegressionWithSGD.train(train_data,numIterations,stepSize,miniBatchFraction)
    # 训练模型耗时
    duration = time.time() - start_time
    # 计算模型的AUC值
    AUC = evaluate_model(model,validation_data)
    return (model,AUC,duration,numIterations,stepSize,miniBatchFraction)
# train_data,validation_data,test_data = parpare_data(sc,scale=[8,1,1])
# train_evaluate_model(train_data,test_data,1,100,0.7)

定义评估参数的函数

import pandas as pd
def evaluate_parameter(train_data,validation_data,numIterationsList,stepSizeList,miniBatchFractionList):
    # 评测矩阵
    metrics = []
    # 列索引
    columns = ["Model","AUC","Duration","numIterations","stepSize","miniBatchFraction"]
    for numIterations in numIterationsList:
        for stepSize in stepSizeList:
            for miniBatchFraction in miniBatchFractionList:
                # 在评测矩阵中记录结果
                metrics.append(train_evaluate_model(train_data,validation_data,numIterations,stepSize,miniBatchFraction))
    # 判断长度大于1的作为自变量，将其作为行索引
    if(len(numIterationsList) > 1):
        return pd.DataFrame(metrics,index=numIterationsList,columns=columns)
    elif(len(stepSizeList) > 1):
        return pd.DataFrame(metrics,index=stepSizeList,columns=columns)
    elif(len(miniBatchFractionList)>1):
        return pd.DataFrame(metrics,index=miniBatchFractionList,columns=columns)
    else:
        # 默认为数字索引
        return pd.DataFrame(metrics,index=[0],columns=columns)

获取训练数据,验证数据,测试数据

((train_data,validation_data,test_data),categories_dict) = parpare_data(sc,scale=[8,1,1])
# 将所有数据持久化到内存当中加快模型训练速度
train_data.persist()
validation_data.persist()
test_data.persist()

数据长度: 7395





PythonRDD[4739] at RDD at PythonRDD.scala:52

评估 numIterations参数影响

训练模型并获取评估参数表

evaluate_table = evaluate_parameter(train_data,validation_data,[i for i in range(1,50,5)],[10],[1])
evaluate_table
ModelAUCDurationnumIterationsstepSizeminiBatchFraction
1(weights=[0.6677226910837364,-0.69951944405741...0.6642050.5421551101
6(weights=[0.28810190368216665,-0.3890579409906...0.6033750.1497496101
11(weights=[0.2982103093226861,-0.30009276222335...0.6374530.18613611101
16(weights=[0.2590246366263148,-0.27478234116180...0.6905690.21390216101
21(weights=[0.25133027462275814,-0.2542369719546...0.6966280.26770921101
26(weights=[0.24840617513903634,-0.2527605271207...0.6977190.31707626101
31(weights=[0.2480626698782132,-0.25281749529624...0.6935880.35565631101
36(weights=[0.24788753296317756,-0.2530393653347...0.6935880.48844636101
41(weights=[0.24788753296317756,-0.2530393653347...0.6935880.36252541101
46(weights=[0.24788753296317756,-0.2530393653347...0.6935880.37840346101

根据评估参数表绘制图像

fig = plt.figure()
ax = fig.add_subplot(111)
ax.bar(evaluate_table.index,evaluate_table["AUC"],color="c",tick_label=evaluate_table.index,label="AUC",width=4)
ax.set_ylim(0.6,0.7)
ax2 = ax.twinx()
ax2.plot(evaluate_table.index,evaluate_table["Duration"],c="r",label="Duration",marker="o")
ax.grid()
fig.legend(loc=1, bbox_to_anchor=(1,1), bbox_transform=ax.transAxes)

在这里插入图片描述

评估 stepSize 参数的影响

训练模型并获取评估参数表

evaluate_table = evaluate_parameter(train_data,validation_data,[26],[i for i in range(10,200,15)],[1])
evaluate_table
ModelAUCDurationnumIterationsstepSizeminiBatchFraction
10(weights=[0.24840617513903634,-0.2527605271207...0.6977190.30668326101
25(weights=[0.40103746760777653,-0.4924966686183...0.5914120.30561226251
40(weights=[0.5409425093445586,-0.77344879343874...0.5648930.31146526401
55(weights=[0.6844234097438462,-1.09699570420703...0.5594570.41884026551
70(weights=[0.8379207450635585,-1.43000712772985...0.5577230.29910726701
85(weights=[1.0323510305921046,-1.76105166506314...0.5716350.28827826851
100(weights=[1.313234120315815,-2.091223074965485...0.5905540.304034261001
115(weights=[1.5106494358271485,-2.37554034126727...0.5905540.288630261151
130(weights=[1.6808460801490464,-2.64560901166279...0.5866380.323949261301
145(weights=[1.846760000240688,-2.914826089181457...0.5855470.307586261451
160(weights=[2.0073226982616266,-3.18046915476317...0.5812020.305315261601
175(weights=[2.1580796544605683,-3.43464112632351...0.5709920.295500261751
190(weights=[2.295776697917227,-3.674935300385708...0.5657700.337451261901

根据评估参数表绘制图像

fig = plt.figure()
ax = fig.add_subplot(111)
ax.bar(evaluate_table.index,evaluate_table["AUC"],color="c",tick_label=evaluate_table.index,label="AUC",width=6)
ax.set_ylim(0.6,0.7)
ax2 = ax.twinx()
ax2.plot(evaluate_table.index,evaluate_table["Duration"],c="r",label="Duration",marker="o")
fig.legend(loc=1, bbox_to_anchor=(1,1), bbox_transform=ax.transAxes)

在这里插入图片描述

评估miniBatchFraction 参数影响

训练模型并获取评估参数表

evaluate_table = evaluate_parameter(train_data,validation_data,[26],[10],np.linspace(0.1,1,5))
evaluate_table
ModelAUCDurationnumIterationsstepSizeminiBatchFraction
0.100(weights=[0.22432239986157868,-0.2165393087222...0.6820730.29367126100.100
0.325(weights=[0.25329319340814027,-0.2708727029103...0.7027270.27390526100.325
0.550(weights=[0.24474754141432709,-0.2484500877818...0.6938030.27677726100.550
0.775(weights=[0.25171480871609914,-0.2515106513891...0.7020640.29224426100.775
1.000(weights=[0.24840617513903634,-0.2527605271207...0.6977190.28051326101.000

根据评估参数表绘制图像

fig = plt.figure()
ax = fig.add_subplot(111)
ax.bar(evaluate_table.index,evaluate_table["AUC"],color="c",tick_label=evaluate_table.index,label="AUC",width=0.1)
ax.set_ylim(0.6,0.75)
ax2 = ax.twinx()
ax2.plot(evaluate_table.index,evaluate_table["Duration"],c="r",label="Duration",marker="o")
fig.legend(loc=1, bbox_to_anchor=(1,1), bbox_transform=ax.transAxes)

在这里插入图片描述

测试模型

导入测试集

def loadTestData(sc):
    raw_lines_and_header = sc.textFile("file:/home/zh123/.jupyter/workspace/stumbleupon/test.tsv")
    header_line = raw_lines_and_header.first()
    raw_non_header_data = raw_lines_and_header.filter(lambda l:l!=header_line)
    raw_non_quot_lines = raw_non_header_data.map(lambda l:l.replace("\"",""))
    raw_data = raw_non_quot_lines.map(lambda l:l.split("\t"))
    print("数据长度:",raw_data.count())
    
    # 和前面准备训练集的方式类似，只不过这里的类别字典是使用的前面的
    # 标签的位置换成了网站的url
    web_url_rdd = raw_data.map(lambda fields:fields[0])

    feature_rdd = raw_data.map(lambda fields:extract_features(fields,categories_dict,len(fields)))
    std_scaler = StandardScaler(withMean=True,withStd=True).fit(feature_rdd)
    scaler_features = std_scaler.transform(feature_rdd)
    test_point_rdd = web_url_rdd.zip(scaler_features)
    
    return test_point_rdd
test_file_data = loadTestData(sc)
test_file_data.first()

数据长度: 3171





('http://www.lynnskitchenadventures.com/2009/04/homemade-enchilada-sauce.html',
 DenseVector([-0.355, -0.2496, -0.7015, -0.3917, -0.1041, -0.2274, -0.21, -0.059, -0.1056, 0.0, 0.0, 2.3909, -0.2594, -0.1983, 0.1364, -0.021, -0.3888, 0.3429, -0.4867, -0.3604, -0.3208, 0.342, 0.0, 0.2093, -0.1513, -0.1, -0.0436, 0.7933, 0.7491, -0.7269, -0.2042, -0.0052, -0.2303, -0.5689, 0.406, -0.2558]))

加载最终的模型

model = evaluate_table[evaluate_table.AUC == evaluate_table.AUC.max()].Model.values[0]

使用模型进行预测

# 从测试文件集中随机抽取10个数据
for f in test_file_data.randomSplit([10,3171-10])[0].collect():
    # 打印网站名称和预测结果
    print(f[0],bool(model.predict(f[1])))

http://www.youbeauty.com/body-fitness/dressing-for-your-body-type?page=2 False
http://www.couponingncooking.com/2012/03/super-easy-whole-chicken-in-crock-pot.html True
http://www.rsvlts.com/2012/08/04/inside-the-london-olympics-week-one-62-high-quality-photos/ False
http://backtoherroots.com/2011/08/04/90-second-nutella-chocolate-cake/ True
http://cathlincooks.blogspot.com/ True
http://www.cheapcooking.com/articles/healthy-school-lunch-ideas.htm True
http://www.ted.com/index.php/talks/hans_rosling_shows_the_best_stats_you_ve_ever_seen.html False
http://www.break.com/index/hot-girls-risky-business-fail.html True
http://www.salon.com/2010/04/03/toasted_peeps_brulee_recipe/ True
http://www.joepastry.com/category/pastry/charlotte/ True
http://www.behance.net/leon_farrant/frame/2878481 True
http://www.wimp.com/pageturner/ False
尼克不可
关注
  • 3
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
StumbleUpon Evergreen 数据集
09-10
StumbleUpon Evergreen数据，来源于Kaggle中的一个题目StumbleUpon Evergreen Classification Challenge。 StumbleUpon 是一个个性化推荐引擎，根据用户的兴趣行为给用户推荐网页，而有些网页内容是即时性（ephemeral）的，比如新闻股票网页（用户短暂感兴趣），有些网页是长久性的（evergreen）如体育，理财等（用户持续感兴趣）。现要分辨网页是ephemeral的还是evergreen的，以便向用户推荐更加准确的网页。 这是一个二分类问题。 查看StumbleUpon数据的详细信息：https:www.kaggle.com/c/stumbleupon/data
StumbleUpon
chenji001的专栏
09-30 860
<br />StumbleUpon
Python Spark MLlib 决策树分类
SanFancsgo的博客
09-10 3079
准备数据 StumbleUpon Evergreen数据，来源于Kaggle中的一个题目StumbleUpon Evergreen Classification Challenge。 StumbleUpon 是一个个性化推荐引擎，根据用户的兴趣行为给用户推荐网页，而有些网页内容是即时性（ephemeral）的，比如新闻股票网页（用户短暂感兴趣），有些网页是长久性的（evergreen）如体育，...
kaggle_stumbleupon:Kaggle StumbleUpon挑战解决方案
04-29
Kaggle StumbleUpon挑战解决方案 这是针对解决方案。 它在最终排行榜上排名第8位，但在私人排行榜上却获得了前3名的得分（考虑到数据的嘈杂度，这也许并不算壮观）。 因为我是第一次使用Python和scikit-learn进行过认真的学习，所以代码相当混乱（并且可能效率不高）。 由于该脚本会进行大量预处理，因此首次运行将花费较长时间（处理后的结果将转储到转储/文件夹，因此只需生成一次）。 另外，您首先需要将原始html转换为 （不同的编码有时会使此过程有些麻烦）。 最终模型及其结果的相对详细描述可以在找到。
【Spark】5、决策树二元分类
Alexander的博客
07-17 1883
本节使用决策树二元分类分析StumbleUpon数据集，预测网页是暂时性的（ephemeral）或是长青的（evergreen），并调校参数找出最佳参数组合，提高预测准确度。 StumbleUpon Evergreen大数据问题场景分析 StumbleUpon是一个个性化的搜索引擎，会按用户的兴趣和网页评分等记录推荐给你感兴趣的网页，有些网页是暂时性的，比如新闻，这些文章可能只是在某一段时间会对读...
IRIS_Dataset-Logistic_Regression：二元类分类的逻辑回归
02-22
IRIS_Dataset--逻辑回归对数分类的逻辑回归加载IRIS数据集创建逻辑回归火车物流回归使用Logistic回归进行多类分类
PyTorch 实现 逻辑回归、多元分类-谢TS的博客.pdf
07-17
逻辑回归是二元分类，属于多元分类的一种特殊情况。多元分类与二元分类类似，区别在于使用 softmax 函数替代 sigmoid 函数作为激活函数。如果分类的类别数为 n，则 softmax 函数接收 n 个输入，然后输出 n 个概率...
逻辑回归：多类逻辑回归分类-matlab开发
05-29
K类逻辑回归分类基于K二元逻辑分类器
Python Spark 机器学习（二）
H48662654的博客
02-04 575
Python Spark 机器学习（二） 主要是MLlib包(基于RDD)和ml包(基于DataFrame)的使用 上篇文章中我们使用了MLlib，这次我们使用ml包。 Python Spark ML 决策树二元分类 通过Kaggle上一个题目来实践： StumbleUpon Evergreen Classification Challenge 该题目内容是判断一个网页内容是暂时性的(ephemeral)还是长青的(evergreen)，具体内容可以在Kaggle网站上查看。 查看并下载数据（需注册） 在
kaggle中的stumbleupon数据集，机器学习资源（包含train,testsampleSubmission,raw_content）
04-18
kaggle中的stumbleupon数据集，需要许多步骤才能下载到，上传方便各位下载
stumbleupon.zip
04-07
来自 kaggle官网的 StumbleUpon Evergreen Classification Challenge数据集 1.可用于决策树二元类机器学习. 2.产品分类模型的训练 3.推荐算法的训练 2.文件内容包括: ---train.tsv 训练集 22.0MB ---test.tsv 测试集 9.4MB ---sampleSubmission.csv 22.0KB ---raw_comtent.zip 164.8MB
Stumbleupon-常绿分类-挑战-
02-17
Stumbleupon-常绿分类-挑战-
机器学习 数据集
01-04
很好的数据集，可以用来训练的数据。适合正在学习机器学习的筒子们
Spark MLlib 源代码解读之线性回归
stevekangpei的博客
07-10 1056
Spark MLlib线性回归算法原理分析：什么是线性回归：回归分析是一种统计工具，它利用两个或两个以上变量之间的关系，由一个或几个变量来预测另一个变量。当自变量只有一个的时候，叫做一元线性回归。 h(x)=b0+b1(x)h(x)=b0+b1(x)当自变量有多个的时候，叫做多元线性回归。h(x1,x2,..xn)=b0+b1(x1)+b2(x2)...h(x1,x2,..xn)=b0+b1(x1)
机器学习超全数据集汇总
AbnerAI的博客
02-21 2658
在构造数据集的时候，要注意做好数据的清洗和标注，一个高质量的数据集往往能够提高模型训练的质量和预测的准确率。在缺乏数据的情况下，可以尝试寻找一些公开数据集，特别是得到公认的被普遍使用的数据集。模型的选择、构建很重要，训练数据对模型也是非常重要的，在改变模型架构来尝试提高模型预测准确率的同时，也需要注意提高输入数据的质量，同时也考虑增加输入数据的数量，看是否能够提高模型的预测效果。在比赛中，参与者被给予大量时间序列的呼吸，并将学习在给定控制输入的时间序列的情况下预测呼吸期间呼吸回路中的气道压力。
Python Spark MLlib之朴素贝叶斯分类
SanFancsgo的博客
09-12 1783
数据准备 和决策树分类一样，依然使用StumbleUpon Evergreen数据进行实验。 Local模式启动ipython notebook cd ~/pythonwork/ipynotebook PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS=&quot;notebook&quot; MASTER=local[*] pyspark...
Python Spark MLlib之逻辑回归
SanFancsgo的博客
09-11 3102
数据准备 和决策树分类一样，依然使用StumbleUpon Evergreen数据进行实验。 Local模式启动ipython notebook cd ~/pythonwork/ipynotebook PYSPARK_DRIVER_PYTHON=ipython PYSPARK_DRIVER_PYTHON_OPTS="notebook" MASTER=local[*] pyspark...
Python Spark MLlib 之决策树回归分析
SanFancsgo的博客
09-13 3747
数据准备 选择UCI数据集中的Bike Sharing数据集(http://archive.ics.uci.edu/ml/datasets/Bike+Sharing+Dataset)进行实验。 场景：预测共享单车租借数量。 特征：季节、月份、时间（0~23）、节假日、星期、工作日、天气、温度、体感温度、湿度、风速 预测目标：每一小时的单车租用数量 1、下载数据集并打开 终端输入命令 ...
逻辑回归-广义线性模
最新发布
09-09
- 只能处理二分类问题：逻辑回归只能对二元变量进行分类，无法直接处理多分类问题。 - 对线性关系敏感：逻辑回归假设输入变量与输出变量之间存在线性关系，对非线性关系的拟合能力较弱。 总的来说，逻辑回归是一种...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值