Pyspark特征工程--BucketedRandomProjectionLSH

BucketedRandomProjectionLSH：

LSH(局部敏感哈希) 欧氏距离度量。输入是稠密或稀疏向量,每个代表一个点的欧氏距离空间。可配置的输出将向量维度。散列值在同一个维度计算了相同的哈希函数

model.approxNearestNeighbors:最邻近分析法

approxNearestNeighbors(*dataset*, *key*, *numNearestNeighbors*, *distCol='distCol'*)
给定一个大型数据集和一个项目,大约发现最多k项的项目最近的距离。如果outputCol失踪,该方法将转换数据;如果outputCol存在,它将使用。这允许在必要时改变了数据的转换

参数：
DataSet - 用于搜索密钥的最近邻居的数据集
key - 表示要搜索的项目的要素矢量
numnearestneighbors - 最近邻居的最大数量
DistCol - 输出列，用于存储每个结果行和键之间的距离。如果未指定，请使用“distcol”作为默认值

返回：
数据集包含最接近密钥的大多数k项。添加列“distcol”以显示每行和键之间的距离

model.approxSimilarityJoin:找到距离小于阈值的所有行对

连接两个数据集以近似找到距离小于阈值的所有行对。 如果 outputCol 缺失，该方法将转换数据； 如果 outputCol 存在，它将使用它。 这允许在必要时缓存转换后的数据。

参数 
datasetA – 要加入的数据集之一。 
datasetB - 要加入的另一个数据集。 
threshold -- 行对距离的阈值。 
distCol – 用于存储每对行之间距离的输出列。 如果未指定，则使用“distCol”作为默认值。 

返回
一个包含行对的连接数据集.原始行位于“datasetA”和“datasetB”列中，并添加了“distCol”列显示每对之间的距离。

01.初始化

from pyspark.sql import SparkSession
from pyspark.ml.feature import BucketedRandomProjectionLSH
spark = SparkSession.builder.config("spark.Driver.host","192.168.1.4")\
    .config("spark.ui.showConsoleProgress","false")\
    .appName("BucketedRandomProjectionLSH").master("local[*]").getOrCreate()

02.生成数据df

from pyspark.ml.linalg import Vectors
from pyspark.sql.functions import col
data = [(0, Vectors.dense([-1.0, -1.0 ]),),
        (1, Vectors.dense([-1.0, 1.0 ]),),
        (2, Vectors.dense([1.0, -1.0 ]),),
        (3, Vectors.dense([1.0, 1.0]),)]
df = spark.createDataFrame(data, ["id", "features"])
df.show()

​ 输出结果：

+---+-----------+
| id|   features|
+---+-----------+
|  0|[-1.0,-1.0]|
|  1| [-1.0,1.0]|
|  2| [1.0,-1.0]|
|  3|  [1.0,1.0]|
+---+-----------+

03.使用BucketedRandomProjectionLSH设置参数并生成对象

brp = BucketedRandomProjectionLSH(inputCol="features", outputCol="hashes",
                                  seed=12345, bucketLength=1.0)

04.转换原来的数据

model = brp.fit(df)
model.transform(df).show()

​ 输出结果：

+---+-----------+--------+
| id|   features|  hashes|
+---+-----------+--------+
|  0|[-1.0,-1.0]|[[-1.0]]|
|  1| [-1.0,1.0]| [[1.0]]|
|  2| [1.0,-1.0]|[[-2.0]]|
|  3|  [1.0,1.0]| [[0.0]]|
+---+-----------+--------+

05.生成数据df2

data2 = [(4, Vectors.dense([2.0, 2.0 ]),),
         (5, Vectors.dense([2.0, 3.0 ]),),
         (6, Vectors.dense([3.0, 2.0 ]),),
         (7, Vectors.dense([3.0, 3.0]),)]
df2 = spark.createDataFrame(data2, ["id", "features"])
df2.show()

​ 输出结果：

+---+---------+
| id| features|
+---+---------+
|  4|[2.0,2.0]|
|  5|[2.0,3.0]|
|  6|[3.0,2.0]|
|  7|[3.0,3.0]|
+---+---------+

06.最邻近的筛选结果

model.approxNearestNeighbors(df2, Vectors.dense([1.0, 2.0]), 1).show()
model.approxNearestNeighbors(df2, Vectors.dense([1.0, 2.0]), 2).show()

​ 输出结果：

+---+---------+-------+-------+
| id| features| hashes|distCol|
+---+---------+-------+-------+
|  4|[2.0,2.0]|[[1.0]]|    1.0|
+---+---------+-------+-------+

+---+---------+-------+----------------+
| id| features| hashes|         distCol|
+---+---------+-------+----------------+
|  4|[2.0,2.0]|[[1.0]]|             1.0|
|  7|[3.0,3.0]|[[1.0]]|2.23606797749979|
+---+---------+-------+----------------+

07.行对的连接数据集

model.approxSimilarityJoin(df, df2, 3.0, distCol="EuclideanDistance").select(
    col("datasetA.id").alias("idA"),
    col("datasetB.id").alias("idB"),
    col("EuclideanDistance")).show()

​ 输出结果：

+---+---+-----------------+
|idA|idB|EuclideanDistance|
+---+---+-----------------+
|  3|  6| 2.23606797749979|
+---+---+-----------------+