Pyspark特征工程--MinHashLSH

MinHashLSH

class pyspark.ml.feature.MinHashLSH(inputCol=None, outputCol=None, seed=None, numHashTables=1)

Jaccard 距离的 LSH 类

输入可以是密集或稀疏向量，但如果是稀疏的，则效率更高。 例如 Vectors.sparse(10, [(2, 1.0), (3, 1.0), (5, 1.0)]) 表示空间中有 10 个元素。 该集合包含元素 2、3 和 5。此外，任何输入向量必须至少有 1 个非零索引，并且所有非零值都被视为二进制“1”值

model.approxNearestNeighbors(dataset, key, numNearestNeighbors, distCol=‘distCol’):

给定一个大数据集和一个项目，大约找到与该项目最近距离的 k 个项目。 如果 outputCol 缺失，该方法将转换数据； 如果 outputCol 存在，它将使用它。 这允许在必要时缓存转换后的数据。

参数 :

dataset - 用于搜索键的最近邻居的数据集。

key – 表示要搜索的项目的特征向量。

numNearestNeighbors – 最近邻居的最大数量。

distCol – 输出列，用于存储每个结果行与键之间的距离。 如果未指定，则使用“distCol”作为默认值。

返回:

一个数据集，最多包含最接近键的 k 个项目。 添加一列“distCol”以显示每行与键之间的距离。

model.approxSimilarityJoin(datasetA, datasetB, threshold, distCol=‘distCol’):

连接两个数据集以近似找到距离小于阈值的所有行对。 如果 outputCol 缺失，该方法将转换数据； 如果 outputCol 存在，它将使用它。 这允许在必要时缓存转换后的数据.

参数:

datasetA – 要加入的数据集之一。

datasetB - 要加入的另一个数据集。

threshold – 行对距离的阈值。

distCol – 用于存储每对行之间距离的输出列。 如果未指定，则使用“distCol”作为默认值。

返回:

一个包含行对的连接数据集。 原始行位于“datasetA”和“datasetB”列中，并添加了“distCol”列以显示每对之间的距离。

01.初始化

from pyspark.sql import SparkSession
spark = SparkSession.builder.config("spark.Driver.host","192.168.1.4")\
    .config("spark.ui.showConsoleProgress","false")\
    .appName("MaxAbsScaler").master("local[*]").getOrCreate()

02.创建数据

from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col
data = [(0, Vectors.sparse(6, [0, 1, 2], [1.0, 1.0, 1.0]),),
        (1, Vectors.sparse(6, [2, 3, 4], [1.0, 1.0, 1.0]),),
        (2, Vectors.sparse(6, [0, 2, 4], [1.0, 1.0, 1.0]),)]
df = spark.createDataFrame(data, ["id", "features"])
df.show()
df.head(3)

​ 输出结果：

+---+--------------------+
| id|            features|
+---+--------------------+
|  0|(6,[0,1,2],[1.0,1...|
|  1|(6,[2,3,4],[1.0,1...|
|  2|(6,[0,2,4],[1.0,1...|
+---+--------------------+

[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0})),
 Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0})),
 Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}))]

03.MinHashLSH转换

from pyspark.ml.feature import MinHashLSH
mh = MinHashLSH(inputCol="features", outputCol="hashes", seed=12345)
model = mh.fit(df)
model.transform(df).show()
model.transform(df).head(3)

​ 输出结果：

+---+--------------------+----------------+
| id|            features|          hashes|
+---+--------------------+----------------+
|  0|(6,[0,1,2],[1.0,1...|[[6.17966841E8]]|
|  1|(6,[2,3,4],[1.0,1...|[[1.33824602E8]]|
|  2|(6,[0,2,4],[1.0,1...|[[9.10790854E8]]|
+---+--------------------+----------------+

[Row(id=0, features=SparseVector(6, {0: 1.0, 1: 1.0, 2: 1.0}), hashes=[DenseVector([617966841.0])]),
 Row(id=1, features=SparseVector(6, {2: 1.0, 3: 1.0, 4: 1.0}), hashes=[DenseVector([133824602.0])]),
 Row(id=2, features=SparseVector(6, {0: 1.0, 2: 1.0, 4: 1.0}), hashes=[DenseVector([910790854.0])])]

04.构造另一个数据

data2 = [(3, Vectors.sparse(6, [1, 3, 5], [1.0, 1.0, 1.0]),),
         (4, Vectors.sparse(6, [2, 3, 5], [1.0, 1.0, 1.0]),),
         (5, Vectors.sparse(6, [1, 2, 4], [1.0, 1.0, 1.0]),)]
df2 = spark.createDataFrame(data2, ["id", "features"])
df2.show()

​ 输出结果：

+---+--------------------+
| id|            features|
+---+--------------------+
|  3|(6,[1,3,5],[1.0,1...|
|  4|(6,[2,3,5],[1.0,1...|
|  5|(6,[1,2,4],[1.0,1...|
+---+--------------------+

05.查看approxNearestNeighbors属性

key = Vectors.sparse(6, [1, 2], [1.0, 1.0])
model.approxNearestNeighbors(df2, key, 1).show()

​ 输出结果：

+---+--------------------+----------------+-------------------+
| id|            features|          hashes|            distCol|
+---+--------------------+----------------+-------------------+
|  5|(6,[1,2,4],[1.0,1...|[[6.17966841E8]]|0.33333333333333337|
+---+--------------------+----------------+-------------------+

06.查看approxSimilarityJoin结果

model.approxSimilarityJoin(df, df2, 0.6, distCol="JaccardDistance").select(
    col("datasetA.id").alias("idA"),
    col("datasetB.id").alias("idB"),
    col("JaccardDistance")).show()

​ 输出结果：

+---+---+---------------+
|idA|idB|JaccardDistance|
+---+---+---------------+
|  0|  5|            0.5|
|  1|  4|            0.5|
+---+---+---------------+