Spark Mllib之特征提取和转换--基于RDD

最新推荐文章于 2020-04-13 13:48:00 发布
最新推荐文章于 2020-04-13 13:48:00 发布
阅读量1.4k 收藏 1
点赞数 1
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013230189/article/details/82588134
版权

   微信公众号:数据挖掘与分析学习

 

1.TF-IDF

词频- 逆文档频率（TF-IDF）是在文本挖掘中广泛使用的特征向量化方法，以反映词语对语料库中的文档的重要性。用t表示一个术语，用d表示文档，用D表示语料库。词语频率TF（t，d）是词语t出现在文档d中的次数，而文档频率DF（t，D）是包含词语t的文档数T。如果我们仅使用词语频率来衡量重要性，则过于强调经常出现但很少提供有关文档的信息的词语，例如“a”，“the”和“of”。 如果词语在语料库中经常出现，则表示它不包含有关特定文档的特殊信息。逆文档频率是词语提供的信息量的数字度量：

其中| D |是语料库中的文档总数。由于使用了对数，如果词语出现在所有文档中，则其IDF值变为0。请注意，应用平滑项以避免语料库外的词语除以零。TF-IDF指标只是TF和IDF的产物：

词语频率和文档频率的定义有几种变体。在spark.mllib中，我们将TF和IDF分开以使它们变得灵活。我们的术语频率实现利用散列技巧(hashing trick)。通过应用散列函数将原始特征映射到索引（术语）。然后，基于映射的指数计算词语频率。这种方法避免了计算全局词语到索引映射的需要，这对于大型语料库来说可能是昂贵的，但是它遭受潜在的散列冲突，其中不同的原始特征可能在散列之后变成相同的词语。为了减少冲突的可能性，我们可以增加目标特征维度，即哈希表的桶的数量。默认的特征维度是220=1048576.

package com.cb.spark.mllib;

 

import java.util.Arrays;

import java.util.List;

 

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.mllib.feature.HashingTF;

import org.apache.spark.mllib.feature.IDF;

import org.apache.spark.mllib.feature.IDFModel;

import org.apache.spark.mllib.linalg.Vector;

 

public class TFIDFExample {

    public static void main(String[] args) {

       SparkConf conf = new SparkConf().setAppName("TFIDFExample").setMaster("local");

       JavaSparkContext sc = new JavaSparkContext(conf);

       JavaRDD<String> data = sc

               .textFile("F:\\Learning\\java\\project\\LearningSpark\\src\\main\\resources\\kmeans_data.txt");

       JavaRDD<List<String>> documents = data.map(d -> {

           String[] strArr = d.split(" ");

           return Arrays.asList(strArr);

       });

 

       HashingTF hashingTF = new HashingTF();

       JavaRDD<Vector> tf = hashingTF.transform(documents);

       tf.foreach(v -> System.out.println(v));

       System.out.println();

       tf.cache();

       IDFModel model = new IDF().fit(tf);

       JavaRDD<Vector> tfidf = model.transform(tf);

       tfidf.foreach(t -> System.out.println(t));

       System.out.println();

 

       // 出现在不小于两个文档中的词

       new IDF(2).fit(tf).transform(tf).foreach(x -> System.out.println(x));

       ;

 

       sc.stop();

    }

}

 

 

2. Word2Vec

Word2Vec计算单词的分布式矢量表示。分布式表示的主要优点是类似的单词在向量空间中很接近，这使得对新颖模式的推广更容易，并且模型估计更加稳健。分布式矢量表示被证明在许多自然语言处理应用中是有用的，例如命名实体识别，消歧，解析，标记和机器翻译。

Word2Vec在文本语料库中创建单词的向量表示。 该算法首先从语料库构造词汇表，然后学习词汇表中单词的向量表示。 矢量表示可以用作自然语言处理和机器学习算法中的特征。

2.1模型

在我们的Word2Vec实现中，我们使用了skip-gram模型。skip-gram的训练目标是学习擅长在同一句子中预测其上下文的单词矢量表示。在数学上，给定一系列训练单词w1，w2，...，wT，skip-gram模型的目标是最大化平均对数似然

其中k是训练窗口的大小。

在skip-gram模型中，每个单词w与两个向量uw和vw相关联，这两个向量分别是作为单词w和上下文的向量表示。正确预测给定单词wj单词wi的概率由softmax模型确定，即

其中,V是词汇表大小。具有softmax的skip-gram模型是代价昂贵的，因为计算logp（wi | wj）的成本与V成比例，V可以容易地达到数百万。为了加速Word2Vec的训练，我们使用了分层softmax，它将logp（wi | wj）的计算复杂度降低到O（log（V））

2.2 代码示例

package com.cb.spark.mllib;

 

import java.util.Arrays;

import java.util.List;

 

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.mllib.feature.Word2Vec;

import org.apache.spark.mllib.feature.Word2VecModel;

 

import scala.Tuple2;

 

public class Word2VecExample {

    public static void main(String[] args) {

       SparkConf conf = new SparkConf().setAppName("TFIDFExample").setMaster("local");

       JavaSparkContext sc = new JavaSparkContext(conf);

       JavaRDD<String> data = sc

               .textFile("F:\\Learning\\java\\project\\LearningSpark\\src\\main\\resources\\sample_lda_data.txt");

       JavaRDD<List<String>> corpus = data.map(s -> Arrays.asList(s.split(" ")));

       Word2Vec word2Vec = new Word2Vec();

       Word2VecModel word2VecModel = word2Vec.fit(corpus);

       Tuple2<String, Object>[] tuple = word2VecModel.findSynonyms("1", 5);

       for (int i = 0; i < tuple.length; i++) {

           System.out.println(tuple[i]);

       }

 

       sc.stop();

    }

}

 

 

3. StandardScaler

通过使用训练集中样本的列摘要统计信息缩放到单位方差和/或删除均值来标准化特征。这是一个非常常见的预处理步骤。例如，当所有特征具有单位方差和/或零均值时，支持向量机的RBF内核或L1和L2正则化线性模型通常工作得更好。标准化可以在优化过程中提高收敛速度，并且还可以防止在模型训练期间对具有非常大的差异的特征施加过大的影响。

3.1 模型拟合

StandardScaler在构造函数中具有以下参数：

  1. withMean：默认情况下为False。 在缩放之前使用均值将数据居中。 它将构建密集输出，因此在应用稀疏输入时要小心。
  2. withStd:默认为True。 将数据缩放到单位标准偏差。

我们在StandardScaler中提供了一个拟合方法，可以输入RDD [Vector]，学习汇总统计，然后返回一个模型，该模型可以将输入数据集转换为单位标准差和/或零均值特征，具体取决于我们如何配置StandardScaler。

该模型实现了VectorTransformer，它可以在Vector上应用标准化以生成转换后的Vector或在RDD [Vector]上生成转换后的RDD [Vector]。

 

3.2 代码示例

下面的示例演示了如何以libsvm格式加载数据集，并标准化特征，以便新特征具有单位标准差和/或零均值。

package com.cb.spark.mllib;

 

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.mllib.feature.StandardScaler;

import org.apache.spark.mllib.feature.StandardScalerModel;

import org.apache.spark.mllib.linalg.Vector;

import org.apache.spark.mllib.linalg.Vectors;

import org.apache.spark.mllib.regression.LabeledPoint;

import org.apache.spark.mllib.util.MLUtils;

 

import scala.Tuple2;

 

public class StandardScalerExample {

    public static void main(String[] args) {

       SparkConf conf = new SparkConf().setAppName("TFIDFExample").setMaster("local");

       JavaSparkContext sc = new JavaSparkContext(conf);

       String path = "F:\\Learning\\java\\project\\LearningSpark\\src\\main\\resources\\sample_libsvm_data.txt";

 

       JavaRDD<LabeledPoint> data = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();

       StandardScalerModel scaler1 = new StandardScaler().fit(data.map(l -> l.features()).rdd());

       StandardScalerModel scaler2 = new StandardScaler(true, true).fit(data.map(x -> x.features()).rdd());

       StandardScalerModel scaler3 = new StandardScalerModel(scaler2.std(), scaler2.mean());

//     System.out.println(scaler1.mean() + " " + scaler2.mean() + " " + scaler3.mean());

       JavaRDD<Tuple2<Double, Vector>> tuple2 = data

              .map(x -> new Tuple2<>(x.label(), scaler1.transform(x.features())));

 

       tuple2.foreach(t -> System.out.println(t));

 

       System.out.println();

       JavaRDD<Tuple2<Double, Vector>> tuple21 = data

              .map(x -> new Tuple2<>(x.label(), scaler2.transform(Vectors.dense(x.features().toArray()))));

       tuple21.foreach(t -> System.out.println(t));

    }

}

 

 

4. Normalizer(正则化)

Normalizer将单个样本缩放为具有单位Lp范数。这是文本分类或聚类的常用操作。例如，两个L2标准化TF-IDF值的点积是向量的余弦相似性。

Normalizer在构造函数中具有以下参数：

  1. p ：Lp空间中的标准化，默认情况下p = 2。

Normalizer实现VectorTransformer，它可以在Vector上应用正则化以生成转换后的Vector或在RDD [Vector]上生成转换后的RDD [Vector]。

请注意，如果输入的范数为零，则它将返回输入向量。

 

代码示例：

下面的示例演示了如何以libsvm格式加载数据集，并使用L2范数和L∞范数对特征进行规范化。

package com.cb.spark.mllib;

 

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.mllib.feature.Normalizer;

import org.apache.spark.mllib.linalg.Vector;

import org.apache.spark.mllib.regression.LabeledPoint;

import org.apache.spark.mllib.util.MLUtils;

 

import scala.Tuple2;

 

public class NormalizerExample {

    public static void main(String[] args) {

       SparkConf conf = new SparkConf().setAppName("NormalizerExample").setMaster("local");

       JavaSparkContext sc = new JavaSparkContext(conf);

       String path = "F:\\Learning\\java\\project\\LearningSpark\\src\\main\\resources\\sample_libsvm_data.txt";

 

       JavaRDD<LabeledPoint> data = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();

       Normalizer normalizer1 = new Normalizer();

       Normalizer normalizer2 = new Normalizer(Double.POSITIVE_INFINITY);

       JavaRDD<Tuple2<Double, Vector>> data1 = data

              .map(x -> new Tuple2<>(x.label(), normalizer1.transform(x.features())));

       data1.foreach(x -> System.out.println(x));

       System.out.println();

       JavaRDD<Tuple2<Double, Vector>> data2 = data

              .map(x -> new Tuple2<>(x.label(), normalizer2.transform(x.features())));

       data2.foreach(x -> System.out.println(x));

    }

}

 

 

5. ChiSqSelector

特征选择试图识别用于模型构造的相关特征。它减小了特征空间的大小，这可以提高速度和统计学习行为。ChiSqSelector实现了Chi-Squared特征选择。它使用具有分类特征的标记数据进行操作。ChiSqSelector使用Chi-Squared独立性测试来决定选择哪些特征。它支持五种选择方法：num Features，percentile，for，fdr，fwe：

  1. numTopFeatures根据卡方检验选择固定数量的顶部特征。 这类似于产生具有最强预测能力的特征。
  2. percentile :与numTopFeatures类似，但选择所有特征的一小部分而不是固定数字。
  3. fpr:选择p值低于阈值的所有特征，从而控制fp(false positive)的选择比率。
  4. fdr:使用Benjamini-Hochberg过程来选择错误发现率低于阈值的所有特征。
  5. few:选择p值低于阈值的所有特征。 阈值按1 / numFeatures缩放，从而控制选择的family-wise错误率。

默认情况下，选择方法为numTopFeatures，默认顶部要素数设置为50.用户可以使用setSelectorType选择选择特征的方法。可以使用保留的验证集来调整要选择的特征的数量。

 

5.1 模型拟合

fit方法接受具有分类特征的RDD [LabeledPoint]输入，学习摘要统计，然后返回ChiSqSelectorModel，它可以将输入数据集转换为缩小的特征空间。ChiSqSelectorModel可以应用于Vector以生成缩减的Vector，也可以应用于RDD [Vector]以生成缩减的RDD [Vector]。注意，用户还可以通过提供所选特征索引的数组（必须按升序排序）来手动构造ChiSqSelectorModel。

5.2 代码示例

以下示例显示了ChiSqSelector的基本用法。 使用的数据集具有由灰度值组成的特征矩阵，每个特征的灰度值从0到255不等。

package com.cb.spark.mllib;

 

import org.apache.spark.SparkConf;

import org.apache.spark.api.java.JavaRDD;

import org.apache.spark.api.java.JavaSparkContext;

import org.apache.spark.api.java.function.Function;

import org.apache.spark.mllib.feature.ChiSqSelector;

import org.apache.spark.mllib.feature.ChiSqSelectorModel;

import org.apache.spark.mllib.linalg.Vector;

import org.apache.spark.mllib.linalg.Vectors;

import org.apache.spark.mllib.regression.LabeledPoint;

import org.apache.spark.mllib.util.MLUtils;

 

public class ChiSqSelectorExample {

    public static void main(String[] args) {

       SparkConf conf = new SparkConf().setAppName("NormalizerExample").setMaster("local");

       JavaSparkContext sc = new JavaSparkContext(conf);

       String path = "F:\\Learning\\java\\project\\LearningSpark\\src\\main\\resources\\sample_libsvm_data.txt";

       JavaRDD<LabeledPoint> data = MLUtils.loadLibSVMFile(sc.sc(), path).toJavaRDD();

       data = data.map(new Function<LabeledPoint, LabeledPoint>() {

           private static final long serialVersionUID = 1L;

 

           @Override

           public LabeledPoint call(LabeledPoint v1) throws Exception {

              double label = v1.label();

              Vector v = v1.features();

              double[] d = new double[v.size()];

              for (int i = 0; i < v.size(); i++) {

                  double newValue = Math.floor(v.apply(i) / 16);

                  d[i] = newValue;

              }

              Vector newV = Vectors.dense(d);

              return new LabeledPoint(label, newV);

           }

       });

 

       ChiSqSelector selector = new ChiSqSelector(50);

       ChiSqSelectorModel transformer = selector.fit(data.rdd());

 

       JavaRDD<LabeledPoint> filteredData = data

              .map(lp -> new LabeledPoint(lp.label(), transformer.transform(lp.features())));

       filteredData.foreach(l -> System.out.println(l));

    }

}

 

 

大雄没有叮当猫
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Databricks孟祥瑞：ALS在SparkMLlib中的实现
03-03
摘要：MLlib在1.3中添加了不少机器学习及数据挖掘算法：研究主题分布的LDA、估计点集分布的GMM、提取频繁项集的FP-growth等等。本文主要聚焦ALS的实现及其在1.3中的提升。深受用户喜爱的大数据处理平台ApacheSpark1.3于前不久发布，MLlib作为Spark负责机器学习（ML）的核心组件在1.3中添加了不少机器学习及数据挖掘的算法：研究主题分布的latentDirichletallocation（LDA）、估计点集分布的高斯混合模型（GMM）、提取频繁项集的FP-growth、生成图聚类的poweriterationclustering（PIC）等等。呃，这些我们暂放一
spark mllib特征使用案例讲解
11-30
讲述了spark 中提供的spark 相关特征操作
Spark Mllib学习课件
08-01
源码
使用Spark MLlib给豆瓣用户推荐电影.doc
12-28
完整项目链，机器学习到用户推荐，实现精准营销！ ALS算法 LS是alternating least squares的缩写 , 意为交替最小二乘法。该方法常用于基于矩阵分解的推荐系统中。例如：将用户(user)对商品(item)的评分矩阵分解为两个矩阵：一个是用户对商品隐含特征的偏好矩阵，另一个是商品所包含的隐含特征的矩阵。在这个矩阵分解的过程中，评分缺失项得到了填充，也就是说我们可以基于这个填充的评分来给用户最商品推荐了。
Spark MLlib中KMeans聚类算法的解析和应用
weixin_45906054的博客
04-13 1152
聚类算法是机器学习中的一种无监督学习算法，它在数据科学领域应用场景很广泛，比如基于用户购买行为、兴趣等来构建推荐系统。核心思想可以理解为，在给定的数据集中（数据集中的每个元素有可被观察...
进行SparkRDD各类操作----SparkMllib操作基础
python的博客
08-02 1342
就问大家什么最重要，那就是基础，这次分享的是平常我们易忽略的基础知识，RDD的各种灵活变换和操作，为了方便大家理解，我这里就写的很简单，但是大家可以从中领会他的灵活之处，就算我们以后做流式计算还是机器学习都会和肯定大部分需要的是他，这里大概我就直接代码实践给大家看，我们毕竟是追究程序的 package rdd import org.apache.log4j.{Level,
spark mllib 文本特征提取
11-18
里面包含四种模型(word2vec TF-IDF LDA CountVectorizer) 的helloworld代码和模型简单介绍，都是基于spark mllib的，包含python版本、scala版本和java版本的，是我运行通过后，整理成pdf的。这些代码没有问题，一般运行在linux上 python需要pip install 工具包来下载相应工具，一般出错出在操作系统不对和工具包没有下载
Spark MLlib 特征抽取、转化和选择 -- 特征变换： 标签和索引的转化
zhaoqqa的博客
08-21 902
这一部分主要介绍和特征处理相关的算法，大体分为以下三类： 1）特征抽取：从原始数据中抽取特征 2）特征转换：特征的维度、特征的转化、特征的修改 3）特征选取：从大规模特征集中选取一个子集 在机器学习处理过程中，为了方便相关算法的实现，经常需要把标签数据（一般是字符串）转化成整数索引，或是在计算结束后将整数索引还原为相应的标签。 Spark ML包中提供了几个相关的转换器，例如：String...
RDD[Vector]
AStar的博客
08-28 2337
1.629502 1.66991 1.871226 1.898365 1.46171 1.91306 1.58579 1.537943 2.018275 1.836801 1.98899 2.006619 1.599317 1.991072 1.991236 1.235661 1.057009 1.601767 1.889463 1.86318 1.368395 1.21388
Spark MLlib特征处理：Normalizer 正则化---原理及实战
王佩的CSDN博客
11-13 3653
原理     向量a→=(x1,x2,x3...xn)\overrightarrow{a}= \left ( x_{1},x_{2},x_{3}...x_{n} \right ),aka_{k}是a→\overrightarrow{a}中的任意元素，k=1,2,3⋯nk = 1,2,3\cdots n 例如:a→\overrightarrow{a}代表一个样本，aka_{k}代表特征。
hbase-rdd：Spark RDD从HBase读取，写入和删除
02-05
hbase-rdd：Spark RDD从HBase读取，写入和删除
spark-rdd-APi
12-14
内容根据spark rdd.scala和ParRDDFunctions.scala源码中rdd顺序整理，包含rdd功能解释。对熟悉spark rdd很有用
基于 RDD关键度的Spark检查点管理策略
03-11
因此,在建立 Spark执行模型､检查点模型 和 RDD 关键度模型的 基础上,提出一种基于关 键度的检查点管理 (criticalitycheckpointmanagement,CCM)策略,其中包括检查点设置算法､失效恢复算法和清理算法.其中检查点设置...
Spark学习--RDD编码
05-09
当Spark对数据操作和转换时，会自动将RDD中的数据分发到集群，并将操作并行化执行。 Spark中的RDD是一个不可变的分布式对象集合。每个RDD都倍分为多个分区，这些分区运行在集群中的不同节点。RDD可以包含Python、...
Spark-RDD.md
最新发布
08-09
Spark_RDD
pytorch:torch.clamp()
热门推荐
大雄没有叮当猫的博客
09-11 17万+
torch.clamp(input, min, max, out=None) → Tensor 将输入input张量每个元素的夹紧到区间 [min,max][min,max]，并返回结果到一个新张量。 操作定义如下： | min, if x_i &lt; min y_i = | x_i, if min &lt;= x_i &lt;= max | max, if ...
pytorch:torch.mm()和torch.matmul()
大雄没有叮当猫的博客
09-11 6万+
微信公众号:数据挖掘和分析学习 torch.mm(mat1, mat2, out=None) → Tensor torch.matmul(mat1, mat2, out=None) → Tensor 对矩阵mat1和mat2进行相乘。 如果mat1 是一个n×m张量，mat2 是一个 m×p 张量，将会输出一个 n×p 张量out。 参数 ： mat1 (Tensor) – 第一个相乘矩...
tensorflow学习之softmax使用详解
大雄没有叮当猫的博客
09-25 2万+
1. 什么是Softmax Softmax 在机器学习和深度学习中有着非常广泛的应用。尤其在处理多分类（C &gt; 2）问题，分类器最后的输出单元需要Softmax 函数进行数值处理。关于Softmax 函数的定义如下所示： 其中，Vi 是分类器类别的输出。i 表示类别索引，总的类别个数为 C。Si 表示的是当前元素的指数与所有元素指数和的比值。Softmax 将多分类的输出数值转化为相...
tensorflow学习之LSTMCell详解
大雄没有叮当猫的博客
09-22 2万+
Class tf.contrib.rnn.LSTMCell 继承自：LayerRNNCell Aliases: Class tf.contrib.rnn.LSTMCell Class tf.nn.rnn_cell.LSTMCell 长短时记忆单元循环网络单元。默认的non-peephole是基于http://www.bioinf.jku.at/publications/older/2604...
spark-spark函数详解rdd转换与操作
06-28
Spark中的RDD（Resilient Distributed Datasets）是一种分布式的数据结构，它可以被分割成多个分区，每个分区...总之，Spark中的RDD转换和操作函数是非常重要的，掌握它们可以帮助我们更好地使用Spark进行分布式计算。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值