聚类（一）pyspark 实现特征的ID化

最新推荐文章于 2024-08-01 17:39:08 发布

原创

最新推荐文章于 2024-08-01 17:39:08 发布 · 2.5k 阅读

CC 4.0 BY-SA版权

文章标签：

该博客介绍了如何使用pyspark将字符串类型的特征转换为数字ID，通过广播映射关系提高效率。示例代码展示了从样本文件读取，创建特征到ID的映射，然后将样本ID化并保存结果。

项目中需要实现一个简单的聚类，初步衡量了下样本数量在2000W左右，第一次写spark还是14年的时候，而且都是基于java实现的模型算法，这次就简单用pyspark实现了特征的Id化，即将字符串类型的特征转为数字表示的Id。这个在模型中相对比较常见，比较主要的点应该是使用broadcast广播了特征和id的映射关系。
#!/usr/bin/env python #-*-coding:utf-8-*- from pyspark.conf import SparkConf from pyspark.context import SparkContext from pyspark.rdd import RDD from pyspark.files import SparkFiles from StringIO import StringIO import collections def parse(text): elems = text[1].split() if len(elems) != 2:return [] return elems[1].split(',') def feat_to_id(text, feats_id_map): elems = text[1].split() first = elems[0] feats = elems[1].split(',') feat_ids = [str(feats_id_map.value[feat]) for feat in feats] return first, ",".join(feat_ids) def feat_id_to_line(x, y): return x + "\t" + str(y) """ 样本特征的ID化，即将样本的字符串转为数字 @param input_path: 样本输入路径，样本内容为 id feat1,feat2,feat3..... @param output_samples_path: 样本输出路径, 输出内容 id 2,3,4 @param output_