【Spark】(task5)SparkML基础（分类 | 聚类模型）

已于 2022-04-21 23:13:03 修改
阅读量2.8k 收藏 11
点赞数 5
分类专栏： 大数据 文章标签： 大数据 pyspark
于 2022-04-21 00:07:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_35812205/article/details/123907055
版权

文章目录

三、分类模型

3.1 继续任务5的步骤，假设Type 1为标签，将其进行labelencoder

# encoding=utf-8

from pyspark import SparkFiles
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.ml.feature import StringIndexer
from pyspark.ml.feature import MinMaxScaler
from pyspark.ml.feature import VectorAssembler
from pyspark.ml import Pipeline
from pyspark.ml.classification import DecisionTreeClassifier
from pyspark.ml.classification import RandomForestClassifier
from pyspark.ml.classification import NaiveBayes
from pyspark.ml.evaluation import MulticlassClassificationEvaluator

# 任务6：SparkML基础：分类模型
spark = SparkSession.builder.appName('pyspark').getOrCreate()
spark.sparkContext.addFile("https://cdn.coggle.club/Pokemon.csv")
path = "file://"+SparkFiles.get("Pokemon.csv")
df = spark.read.csv(path=path, header=True, inferSchema= True)
df = df.withColumnRenamed('Sp. Atk', 'SpAtk')
df = df.withColumnRenamed('Sp. Def', 'SpDef')
df = df.withColumnRenamed('Type 1', 'Type1')
df = df.withColumnRenamed('Type 2', 'Type2')
df = df.withColumn("Legendary", col("Legendary").cast('string'))
# df.show()

# 步骤1：继续任务5的步骤，假设Type 1为标签，将其进行labelencoder
indexer = StringIndexer(inputCol="Type1", outputCol="Type1_idx")
df = indexer.fit(df).transform(df)
# df.show()

我们通过StringIndexer对Type 1进行labelencoder，可以看到最右边多了一列Type1_idx的编号。可以通过df.show()看下df表：

+--------------------+-----+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+
|                Name|Type1| Type2|Total| HP|Attack|Defense|SpAtk|SpDef|Speed|Generation|Legendary|Type1_idx|
+--------------------+-----+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+
|           Bulbasaur|Grass|Poison|  318| 45|    49|     49|   65|   65|   45|         1|    false|      2.0|
|             Ivysaur|Grass|Poison|  405| 60|    62|     63|   80|   80|   60|         1|    false|      2.0|
|            Venusaur|Grass|Poison|  525| 80|    82|     83|  100|  100|   80|         1|    false|      2.0|
|VenusaurMega Venu...|Grass|Poison|  625| 80|   100|    123|  122|  120|   80|         1|    false|      2.0|
|          Charmander| Fire|  null|  309| 39|    52|     43|   60|   50|   65|         1|    false|      5.0|
|          Charmeleon| Fire|  null|  405| 58|    64|     58|   80|   65|   80|         1|    false|      5.0|
|           Charizard| Fire|Flying|  534| 78|    84|     78|  109|   85|  100|         1|    false|      5.0|
|CharizardMega Cha...| Fire|Dragon|  634| 78|   130|    111|  130|   85|  100|         1|    false|      5.0|
|CharizardMega Cha...| Fire|Flying|  634| 78|   104|     78|  159|  115|  100|         1|    false|      5.0|
|            Squirtle|Water|  null|  314| 44|    48|     65|   50|   64|   43|         1|    false|      0.0|
|           Wartortle|Water|  null|  405| 59|    63|     80|   65|   80|   58|         1|    false|      0.0|
|           Blastoise|Water|  null|  530| 79|    83|    100|   85|  105|   78|         1|    false|      0.0|
|BlastoiseMega Bla...|Water|  null|  630| 79|   103|    120|  135|  115|   78|         1|    false|      0.0|
|            Caterpie|  Bug|  null|  195| 45|    30|     35|   20|   20|   45|         1|    false|      3.0|
|             Metapod|  Bug|  null|  205| 50|    20|     55|   25|   25|   30|         1|    false|      3.0|
|          Butterfree|  Bug|Flying|  395| 60|    45|     50|   90|   80|   70|         1|    false|      3.0|
|              Weedle|  Bug|Poison|  195| 40|    35|     30|   20|   20|   50|         1|    false|      3.0|
|              Kakuna|  Bug|Poison|  205| 45|    25|     50|   25|   25|   35|         1|    false|      3.0|
|            Beedrill|  Bug|Poison|  395| 65|    90|     40|   45|   80|   75|         1|    false|      3.0|
|BeedrillMega Beed...|  Bug|Poison|  495| 65|   150|     40|   15|   80|  145|         1|    false|      3.0|
+--------------------+-----+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+
only showing top 20 rows

3.2 导入合适的标签评价指标，说出选择的原因？

# 步骤2：导入合适的标签评价指标，说出选择的原因？
# Accuracy, Precision, Recall

3.3 选择至少3种分类方法，完成训练。

首先对类别型特征进行StringIndexer编码：

# 步骤3：选择至少3种分类方法，完成训练。
# encode categorical features
# in_cols = ["Name", "Type2", "Generation", "Legendary"]
# out_cols = ["Name_idx", "Type2_idx", "Generation_idx", "Legendary_idx"]
in_cols = ["Type2", "Generation", "Legendary"]
out_cols = ["Type2_idx", "Generation_idx", "Legendary_idx"]
indexer = StringIndexer(inputCols=in_cols, outputCols=out_cols, handleInvalid="skip")
df = indexer.fit(df).transform(df)

数值型特征利用pipeline管道归一化处理：

# encode numerical features
columns_to_scale = ["Total", "HP", "Attack", "Defense", "SpAtk", "SpDef", "Speed"]
assemblers, scalers = list(), list()
for col in columns_to_scale:
    vec = VectorAssembler(inputCols=[col], outputCol=col + "_vec")
    assemblers.append(vec)
    sc = MinMaxScaler(inputCol=col + "_vec", outputCol=col + "_scl")
    scalers.append(sc)
pipeline = Pipeline(stages=assemblers + scalers)
df = pipeline.fit(df).transform(df)

+--------------------+------+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+---------+--------------+-------------+---------+------+----------+-----------+---------+---------+---------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+
|                Name| Type1| Type2|Total| HP|Attack|Defense|SpAtk|SpDef|Speed|Generation|Legendary|Type1_idx|Type2_idx|Generation_idx|Legendary_idx|Total_vec|HP_vec|Attack_vec|Defense_vec|SpAtk_vec|SpDef_vec|Speed_vec|           Total_scl|              HP_scl|          Attack_scl|         Defense_scl|           SpAtk_scl|           SpDef_scl|           Speed_scl|
+--------------------+------+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+---------+--------------+-------------+---------+------+----------+-----------+---------+---------+---------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+
|           Bulbasaur| Grass|Poison|  318| 45|    49|     49|   65|   65|   45|         1|    false|      2.0|      2.0|           0.0|          0.0|  [318.0]|[45.0]|    [49.0]|     [49.0]|   [65.0]|   [65.0]|   [45.0]|[0.21694915254237...|[0.2953020134228188]|[0.21666666666666...|[0.15813953488372...|[0.3235294117647059]|[0.2142857142857143]|[0.25806451612903...|
|             Ivysaur| Grass|Poison|  405| 60|    62|     63|   80|   80|   60|         1|    false|      2.0|      2.0|           0.0|          0.0|  [405.0]|[60.0]|    [62.0]|     [63.0]|   [80.0]|   [80.0]|   [60.0]|[0.3644067796610169]|[0.3959731543624161]|[0.2888888888888889]|[0.22325581395348...|[0.4117647058823529]|[0.28571428571428...|[0.3548387096774194]|
|            Venusaur| Grass|Poison|  525| 80|    82|     83|  100|  100|   80|         1|    false|      2.0|      2.0|           0.0|          0.0|  [525.0]|[80.0]|    [82.0]|     [83.0]|  [100.0]|  [100.0]|   [80.0]|[0.5677966101694915]|[0.5302013422818792]|               [0.4]|[0.31627906976744...|[0.5294117647058824]| [0.380952380952381]|[0.4838709677419355]|
|VenusaurMega Venu...| Grass|Poison|  625| 80|   100|    123|  122|  120|   80|         1|    false|      2.0|      2.0|           0.0|          0.0|  [625.0]|[80.0]|   [100.0]|    [123.0]|  [122.0]|  [120.0]|   [80.0]|[0.7372881355932204]|[0.5302013422818792]|               [0.5]|[0.5023255813953489]|[0.6588235294117647]|[0.4761904761904762]|[0.4838709677419355]|
|           Charizard|  Fire|Flying|  534| 78|    84|     78|  109|   85|  100|         1|    false|      5.0|      0.0|           0.0|          0.0|  [534.0]|[78.0]|    [84.0]|     [78.0]|  [109.0]|   [85.0]|  [100.0]|[0.5830508474576271]|[0.5167785234899329]|[0.41111111111111...|[0.2930232558139535]|[0.5823529411764706]|[0.30952380952380...|[0.6129032258064516]|
|CharizardMega Cha...|  Fire|Dragon|  634| 78|   130|    111|  130|   85|  100|         1|    false|      5.0|      9.0|           0.0|          0.0|  [634.0]|[78.0]|   [130.0]|    [111.0]|  [130.0]|   [85.0]|  [100.0]| [0.752542372881356]|[0.5167785234899329]|[0.6666666666666667]|[0.44651162790697...|[0.7058823529411764]|[0.30952380952380...|[0.6129032258064516]|
|CharizardMega Cha...|  Fire|Flying|  634| 78|   104|     78|  159|  115|  100|         1|    false|      5.0|      0.0|           0.0|          0.0|  [634.0]|[78.0]|   [104.0]|     [78.0]|  [159.0]|  [115.0]|  [100.0]| [0.752542372881356]|[0.5167785234899329]|[0.5222222222222223]|[0.2930232558139535]|[0.8764705882352941]|[0.45238095238095...|[0.6129032258064516]|
|          Butterfree|   Bug|Flying|  395| 60|    45|     50|   90|   80|   70|         1|    false|      3.0|      0.0|           0.0|          0.0|  [395.0]|[60.0]|    [45.0]|     [50.0]|   [90.0]|   [80.0]|   [70.0]|[0.34745762711864...|[0.3959731543624161]|[0.19444444444444...|[0.16279069767441...|[0.47058823529411...|[0.28571428571428...|[0.41935483870967...|
|              Weedle|   Bug|Poison|  195| 40|    35|     30|   20|   20|   50|         1|    false|      3.0|      2.0|           0.0|          0.0|  [195.0]|[40.0]|    [35.0]|     [30.0]|   [20.0]|   [20.0]|   [50.0]|[0.00847457627118...|[0.26174496644295...|[0.1388888888888889]|[0.06976744186046...|[0.05882352941176...|               [0.0]|[0.2903225806451613]|
|              Kakuna|   Bug|Poison|  205| 45|    25|     50|   25|   25|   35|         1|    false|      3.0|      2.0|           0.0|          0.0|  [205.0]|[45.0]|    [25.0]|     [50.0]|   [25.0]|   [25.0]|   [35.0]|[0.02542372881355...|[0.2953020134228188]|[0.08333333333333...|[0.16279069767441...|[0.08823529411764...|[0.02380952380952...|[0.1935483870967742]|
|            Beedrill|   Bug|Poison|  395| 65|    90|     40|   45|   80|   75|         1|    false|      3.0|      2.0|           0.0|          0.0|  [395.0]|[65.0]|    [90.0]|     [40.0]|   [45.0]|   [80.0]|   [75.0]|[0.34745762711864...|[0.42953020134228...|[0.4444444444444445]|[0.11627906976744...|[0.20588235294117...|[0.28571428571428...|[0.45161290322580...|
|BeedrillMega Beed...|   Bug|Poison|  495| 65|   150|     40|   15|   80|  145|         1|    false|      3.0|      2.0|           0.0|          0.0|  [495.0]|[65.0]|   [150.0]|     [40.0]|   [15.0]|   [80.0]|  [145.0]|[0.5169491525423728]|[0.42953020134228...|[0.7777777777777778]|[0.11627906976744...|[0.02941176470588...|[0.28571428571428...|[0.9032258064516129]|
|              Pidgey|Normal|Flying|  251| 40|    45|     40|   35|   35|   56|         1|    false|      1.0|      0.0|           0.0|          0.0|  [251.0]|[40.0]|    [45.0]|     [40.0]|   [35.0]|   [35.0]|   [56.0]|[0.10338983050847...|[0.26174496644295...|[0.19444444444444...|[0.11627906976744...|[0.14705882352941...|[0.07142857142857...|[0.32903225806451...|
|           Pidgeotto|Normal|Flying|  349| 63|    60|     55|   50|   50|   71|         1|    false|      1.0|      0.0|           0.0|          0.0|  [349.0]|[63.0]|    [60.0]|     [55.0]|   [50.0]|   [50.0]|   [71.0]|[0.2694915254237288]|[0.4161073825503356]|[0.2777777777777778]|[0.18604651162790...|[0.23529411764705...|[0.14285714285714...|[0.4258064516129032]|
|             Pidgeot|Normal|Flying|  479| 83|    80|     75|   70|   70|  101|         1|    false|      1.0|      0.0|           0.0|          0.0|  [479.0]|[83.0]|    [80.0]|     [75.0]|   [70.0]|   [70.0]|  [101.0]|[0.48983050847457...|[0.5503355704697986]|[0.3888888888888889]|[0.27906976744186...|[0.3529411764705882]|[0.2380952380952381]|[0.6193548387096774]|
| PidgeotMega Pidgeot|Normal|Flying|  579| 83|    80|     80|  135|   80|  121|         1|    false|      1.0|      0.0|           0.0|          0.0|  [579.0]|[83.0]|    [80.0]|     [80.0]|  [135.0]|   [80.0]|  [121.0]| [0.659322033898305]|[0.5503355704697986]|[0.3888888888888889]|[0.3023255813953488]|[0.7352941176470588]|[0.28571428571428...|[0.7483870967741936]|
|             Spearow|Normal|Flying|  262| 40|    60|     30|   31|   31|   70|         1|    false|      1.0|      0.0|           0.0|          0.0|  [262.0]|[40.0]|    [60.0]|     [30.0]|   [31.0]|   [31.0]|   [70.0]|[0.12203389830508...|[0.26174496644295...|[0.2777777777777778]|[0.06976744186046...|[0.12352941176470...|[0.05238095238095...|[0.41935483870967...|
|              Fearow|Normal|Flying|  442| 65|    90|     65|   61|   61|  100|         1|    false|      1.0|      0.0|           0.0|          0.0|  [442.0]|[65.0]|    [90.0]|     [65.0]|   [61.0]|   [61.0]|  [100.0]|[0.4271186440677966]|[0.42953020134228...|[0.4444444444444445]|[0.23255813953488...|               [0.3]|[0.19523809523809...|[0.6129032258064516]|
|           Nidoqueen|Poison|Ground|  505| 90|    92|     87|   75|   85|   76|         1|    false|     12.0|      1.0|           0.0|          0.0|  [505.0]|[90.0]|    [92.0]|     [87.0]|   [75.0]|   [85.0]|   [76.0]|[0.5338983050847458]|[0.5973154362416108]|[0.45555555555555...|[0.33488372093023...|[0.38235294117647...|[0.30952380952380...|[0.45806451612903...|
|            Nidoking|Poison|Ground|  505| 81|   102|     77|   85|   75|   85|         1|    false|     12.0|      1.0|           0.0|          0.0|  [505.0]|[81.0]|   [102.0]|     [77.0]|   [85.0]|   [75.0]|   [85.0]|[0.5338983050847458]|[0.5369127516778524]|[0.5111111111111112]|[0.28837209302325...|[0.4411764705882353]|[0.2619047619047619]|[0.5161290322580645]|
+--------------------+------+------+-----+---+------+-------+-----+-----+-----+----------+---------+---------+---------+--------------+-------------+---------+------+----------+-----------+---------+---------+---------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+--------------------+
only showing top 20 rows

把剩下的特征也转为向量：

# encode all features into vectors
# cols = ["Name_idx", "Type2_idx", "Generation_idx", "Legendary_idx",
#         "Total_scl", "HP_scl", "Attack_scl", "Defense_scl", "SpAtk_scl", "SpDef_scl", "Speed_scl"]
cols = ["Type2_idx", "Generation_idx", "Legendary_idx",
        "Total_scl", "HP_scl", "Attack_scl", "Defense_scl", "SpAtk_scl", "SpDef_scl", "Speed_scl"]
assembler = VectorAssembler(inputCols=cols, outputCol="feature")
df = assembler.transform(df)
# df.show()

根据八二比例划分训练集和测试机，按题目要求，用了3种分类算法（决策树、随机森林、贝叶斯）

train, test = df.randomSplit(weights=[0.8, 0.2], seed=42)
evaluator = MulticlassClassificationEvaluator(
    labelCol="Type1_idx",
    predictionCol="prediction",
    metricName="accuracy")

models = {
    "Decision Tree": DecisionTreeClassifier(labelCol="Type1_idx", featuresCol="feature", predictionCol="prediction"),
    "Random Forest": RandomForestClassifier(labelCol="Type1_idx", featuresCol="feature", predictionCol="prediction"),
    "Naive Bayes": NaiveBayes(labelCol="Type1_idx", featuresCol="feature", predictionCol="prediction"),
}

for name, cls in models.items():
    predictions = cls.fit(train).transform(test)
    accuracy = evaluator.evaluate(predictions)
    print("Accuracy of %s is %.4f" % (name, accuracy))

四、聚类模型

4.1 继续任务5的步骤，假设Type 1为标签，将其进行labelencoder

# encoding=utf-8

from pyspark import SparkFiles
from pyspark.sql import SparkSession
from pyspark.sql.functions import col
from pyspark.ml.feature import StringIndexer
from pyspark.ml.feature import MinMaxScaler
from pyspark.ml.feature import VectorAssembler
from pyspark.ml import Pipeline
from pyspark.ml.clustering import KMeans
from pyspark.sql.types import DoubleType
from pyspark.ml.evaluation import MulticlassClassificationEvaluator


# 任务7：SparkML基础：聚类模型
spark = SparkSession.builder.appName('pyspark').getOrCreate()
spark.sparkContext.addFile("https://cdn.coggle.club/Pokemon.csv")
path = "file://"+SparkFiles.get("Pokemon.csv")
df = spark.read.csv(path=path, header=True, inferSchema= True)
df = df.withColumnRenamed('Sp. Atk', 'SpAtk')
df = df.withColumnRenamed('Sp. Def', 'SpDef')
df = df.withColumnRenamed('Type 1', 'Type1')
df = df.withColumnRenamed('Type 2', 'Type2')
df = df.withColumn("Legendary", col("Legendary").cast('string'))

# 步骤1：继续任务5的步骤，假设Type 1为标签，将其进行labelencoder
indexer = StringIndexer(inputCol="Type1", outputCol="Type1_idx")
df = indexer.fit(df).transform(df)

4.2 使用kmeans对宝可梦进行聚类，使用肘部法选择合适聚类个数。

# 步骤2：使用kmeans对宝可梦进行聚类，使用肘部法选择合适聚类个数。
# encode categorical features
in_cols = ["Type2", "Generation", "Legendary"]
out_cols = ["Type2_idx", "Generation_idx", "Legendary_idx"]
indexer = StringIndexer(inputCols=in_cols, outputCols=out_cols, handleInvalid="skip")
df = indexer.fit(df).transform(df)

# encode numerical features
columns_to_scale = ["Total", "HP", "Attack", "Defense", "SpAtk", "SpDef", "Speed"]
assemblers, scalers = list(), list()
for col in columns_to_scale:
    vec = VectorAssembler(inputCols=[col], outputCol=col + "_vec")
    assemblers.append(vec)
    sc = MinMaxScaler(inputCol=col + "_vec", outputCol=col + "_scl")
    scalers.append(sc)
pipeline = Pipeline(stages=assemblers + scalers)
df = pipeline.fit(df).transform(df)

# encode all features into vectors
cols = ["Type2_idx", "Generation_idx", "Legendary_idx",
        "Total_scl", "HP_scl", "Attack_scl", "Defense_scl", "SpAtk_scl", "SpDef_scl", "Speed_scl"]
assembler = VectorAssembler(inputCols=cols, outputCol="feature")
df = assembler.transform(df)
# df.show()

train, test = df.randomSplit(weights=[0.8, 0.2], seed=42)
evaluator = MulticlassClassificationEvaluator(
    labelCol="Type1_idx",
    predictionCol="prediction",
    metricName="accuracy")

num_of_type1 = df.select("Type1").distinct().count()
for k in range(2, num_of_type1+1):
    cluster = KMeans(featuresCol="feature", predictionCol="prediction", k=k, seed=42)
    model = cluster.fit(train)
    prediction = model.transform(test)
    prediction = prediction.withColumn("prediction", prediction.prediction.cast(DoubleType()))
    cost = model.summary.trainingCost
    accuracy = evaluator.evaluate(prediction)
    print("Accuracy of k=%d is %.4f, with cost is %.4f" % (k, accuracy, cost))

kmeans聚类虽然简单了，但是要确定聚类的个数，常用的有肘部法则和轮廓系数法等。肘部法则通过寻找损失值下降平稳的拐点来确定k值，而轮廓系统则是通过寻找轮廓系数的最大值来进行计算：

（1）肘部法则： S S E = ∑ i = 1 K ∑ c ∈ C i ∣ p − m i ∣ 2 S S E=\sum_{i=1}^{K} \sum_{c \in C_{i}}\left|p-m_{i}\right|^{2} SSE=i=1∑K​c∈Ci​∑​∣p−mi​∣2
( m i m_{i} mi​ 为第簇的质心)

（2）轮廓系数法： S i = b i − a i max ⁡ ( a i , b i ) ( a i S_{i}=\dfrac{b_{i}-a_{i}}{\max \left(a_{i}, b_{i}\right)} \quad\left(a_{i}\right. Si​=max(ai​,bi​)bi​−ai​​(ai​ 是样本i在同类别内到其它点的平均距离， b i b_{i} bi​ 是样本到最近不同类 别中样本的平均距离)

五、通过肘部法则和轮廓系数确定聚类k值

5.1 随机模拟3类数据

import os
from sklearn.cluster import KMeans
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt

plt.rcParams['font.sans-serif']=['SimHei'] #用来正常显示中文标签
plt.rcParams['axes.unicode_minus']=False #用来正常显示负号

num = 100
np.random.seed(0)
#聚类群体1
mu1 =np.array([1,1])
sigma1=np.array([[0.5,0],[0,0.5]])
R1 = np.linalg.cholesky(sigma1)
s1 = np.dot(np.random.randn(num, 2), R1) + mu1
plt.plot(s1[:,0],s1[:,1],'y.')


# 聚类群体2
mu2 =np.array([6,0])
sigma2=np.array([[0.1,0.1],[0,0.5]])
R2 = np.linalg.cholesky(sigma2)
s2 = np.dot(np.random.randn(num, 2), R2) + mu2
plt.plot(s2[:,0],s2[:,1],'*r')

# 聚类群体3
mu3 = np.array([-2,-2])
sigma3 = np.array([[0.6,0],[0,1]])
R3 = np.linalg.cholesky(sigma3)
s3 = np.dot(np.random.randn(num,2),R3)+mu3
plt.plot(s3[:,0],s3[:,1],'b+')
plt.show()

在这里插入图片描述

5.2 肘部法确定k值

#应用肘部法则确定 kmeans方法中的k
from scipy.spatial.distance import cdist
K=range(1,10)
sse_result=[]
for k in K:
    kmeans=KMeans(n_clusters=k)
    kmeans.fit(s)
    sse_result.append(sum(np.min(cdist(s,kmeans.cluster_centers_,'euclidean'),axis=1))/s.shape[0])
plt.plot(K,sse_result,'gx-')
plt.xlabel('k')
plt.ylabel(u'平均畸变程度')
plt.title(u'肘部法则确定最佳的K值')
plt.show()

PS：这里的s是上面3种数据的组合。

Reference

[1] 聚类分析：kmeans 算法簇个数的确定

Spark入门实战系列--8.Spark MLlib（上）--机器学习及SparkMLlib简介
yirenboy的专栏
09-11 8719
- “机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能”。 - “机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。” 一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and perform
【Spark】分类和回归算法-分类
buracag_mc的博客
09-03 1306
同步于Buracag的博客 本节主要讲Spark ML中关于分类算法的实现。示例的算法Demo包含：LR、DT、RF、GBTs、多层感知器、线性支持向量机、One-vs-Rest分类器以及NB等。 文章目录1. Logistic regression1.1 二分类LR1.2 多分类LR2. 决策树分类器3. 随机森林分类器4. 梯度提升树分类器5. 多层感知器分类器6. 线性支持向量机7. One...
Spark ML 构建分类模型
chbxw
05-26 1070
Spark ML实现logistic 回归
sparkML入门，通俗解释机器学习的框架和算法
最新发布
Tometor的博客
03-09 1289
1. 确定目标 | 想做什么菜（红烧肉/沙拉） | 明确任务 (分类/回归/聚类)分类 判断邮件是垃圾邮件吗？| 逻辑回归、决策树 | 垃圾分类（干/湿/有害）回归 预测房价 | 线性回归、随机森林回归 | 根据经验估算装修费用。3. 设计食谱 | 决定烹饪步骤和调料 | 选择算法和模型设计。2. 准备食材 | 买菜、洗菜、切菜 | 数据收集与预处理。4. 试做并尝味道 | 调整火候和调味 | 模型训练与调参。5. 最终成品 | 端上桌的菜 | 模型部署与应用。
【Spark Mllib】分类模型——各分类模型使用
06-16 5211
数据集： 线性模型
SparkML（一）
nntcdhl的博客
02-08 2123
什么是机器学习 百度： 机器学习是一门多学科交叉专业，涵盖概率论知识，统计学知识，近似理论知识和复杂算法知识，使用计算机作为工具并致力于真实实时的模拟人类学习方式，并将现有内容进行知识结构划分来有效提高学习效率。 在我看来机器学习就是给你的计算机一套逻辑（建模训练），让他根据这套逻辑去对数据进行处理（测试）。 Spark ML Spark MLlib是Spark的机器学习（ML）库。它的目标是使实用的机器学习可扩展且容易 数据处理 spark ML有2种类型局部向量：dense和sparse。 稠
spark-5 Spark ML
xfysq_的博客
03-23 587
Spark ML
SparkML（三）
nntcdhl的博客
02-09 477
分类 逻辑回归 在spark官方文档中，逻辑回归又分为二项式逻辑回归和多项式逻辑回归。 逻辑回归本质是线性回归，只是在特征到结果的过程上加上了一层映射。即首先需要把特征进行求和，然后将求和后的结果应用于一个g(z)函数,g(z)可以将值映射到0或者是1上面，这个函数就是Sigmoid函数，默认分类的值是0.5，超过0.5则类别为1，小于0.5类别为0。如下图 例子 import org.apache.spark.ml.classification.LogisticRegression // Load t
spark ml聚类算法
qq_38142901的博客
12-22 1479
K-means与高斯混合函数聚类的简单介绍与spark代码使用
Spark：聚类算法
皮皮blog
11-25 7452
Spark：聚类算法 Kmeans聚类KMeans算法的基本思想是初始随机给定K个簇中心，按照最邻近原则把待分类样本点分到各个簇。然后按平均法重新计算各个簇的质心，从而确定新的簇心。一直迭代，直到簇心的移动距离小于某个给定的值。K-Means聚类算法主要分为三个步骤：(1)第一步是为待聚类的点寻找聚类中心(2)第二步是计算每个点到聚类中心的距离，将每个点聚类到
SparkML机器学习之聚类（K-Means、GMM、LDA）
weixin_33973609的博客
04-04 1044
聚类的概念 聚类就是对大量未知标注（无监督）的数据集，按照数据之间的相似度，将N个对象的数据集划分为K个划分（K个簇），使类别内的数据相似度较大，而类别间的数据相似较小。比如用户画像就是一种很常见的聚类算法的应用场景，基于用户行为特征或者元数据将用户分成不同的类。 常见聚类以及原理 K-means算法 也被称为k-均值，是一种最广泛使用的聚类算法，也是其...
Spark机器学习库(ML)之分类模型-bayes和svm
whoami_zy的博客
06-20 899
​今天我们要学习的是Spark中的分类算法中的贝叶斯模型以及SVC模型，这里还是通过一个小实例来实现。就是垃圾邮件识别。 首先我们还是先来简单的介绍一下算法吧。 朴素贝叶斯模型 首先我们先假设各个向量之间是相互独立的。朴素贝叶斯(简称NB)就是在这个假设条件下的。朴素贝叶斯属于生成式模型，它的收敛速度将快于判别式模型比如逻辑回归，所以你只需要较少的训练数据即可。即使贝叶斯条件独立假设不成立，NB分类器在实践中任然表现很出色。但是它的主要缺点是它不能学习特...
SparkML(PDF以及所用的数据)
02-02
SparkML(PDF以及所用的数据)，高清PDF，数据，一招搞定！
Sparkml实战
12-22
精确讲述SparkML里面算法调用以及算法之间串行以及并行
实验 Spark ML Bisecting k-means聚类算法使用
10-18
实验 Spark ML Bisecting k-means聚类算法使用，实验文档
Spark ML - 聚类算法
机器学习算法
05-06 4209
http://ihoge.cn/2018/ML2.html Spark ML - 聚类算法 1.KMeans快速聚类 首先到UR需要的包： import org.apache.spark.ml.clustering.{KMeans,KMeansModel} import org.apache.spark.ml.linalg.Vectors 开启RDD的隐式转换： imp...
spark ml
机器学习
08-06 865
使用机器学习 (Machine Learning) 技术和方法来解决实际问题，已经被成功应用到多个领域，我们经常能够看到的实例有个性推荐系统，金融反欺诈，自然语言处理和机器翻译，模式识别，智能控制等。一个典型的机器学习过程通常会包含：源数据 ETL，数据预处理，指标提取，模型训练与交叉验证，新数据预测等。我们可以看到这是一个包含多个步骤的流水线式工作，也就是说数据从收集开始，要经历多个步骤，才
【Spark ML】（一）Spark ML Pipelines
云祁QI
03-13 4215
Spark ML Pipeline 的引入，是受到 scikit-learn 的启发，虽然 MLlib 已经足够简单实用，但如果目标数据集结构复杂，需要多次处理，或是在学习过程中，要使用多个转化器 (Transformer) 和预测器 (Estimator)，这种情况下使用 MLlib 将会让程序结构极其复杂。 所以，一个可用于构建复杂机器学习工作流应用的新库已经出现了，它就是 Spark 1.2...
Spark ML Pipelines（ML管道）
象在舞的技术专栏
04-25 2048
声明：代码主要以Scala为主，希望广大读者注意。本博客以代码为主，代码中会有详细的注释。相关文章将会发布在我的个人博客专栏《Spark 2.0机器学习》，欢迎大家关注。 一、Pipelines的主要概念 ML可以应用于各种各样的数据类型，比如向量、文本、图形和结构化数据、API采用Spark SQL的DataFrame就是为了支持各种各样的数据类型。 1、T...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

山顶夕景

小哥哥给我买个零食可好

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值