![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
数据挖掘
MENG哥
TO DO!
展开
-
spark HashingTF TFIDF怎样提取出词对应的TFIDF值
1.这个是spark官网的实例代码:import org.apache.spark.ml.feature.{HashingTF, IDF, Tokenizer}val sentenceData = spark.createDataFrame(Seq( (0.0, "Hi I heard about Spark"), (0.0, "I wish Java could use case c...原创 2020-04-03 10:51:19 · 2243 阅读 · 4 评论 -
spark word2vec 源码详细解析
spark word2vec 源码详细解析简单介绍spark word2vec源码解析word2vec 的原理 只需要看层次哈弗曼树skip-gram那部分简单介绍spark word2vecWord2Vec creates vector representation of words in a text corpus.The algorithm first constructs a voc...原创 2020-01-16 11:26:14 · 4038 阅读 · 0 评论 -
Apriori算法,MATLAB代码实现
Apriori算法简介:想必大家都知道apriori算法的原理吧,最著名的关联规则发现方法R.Agrawal提出的Apriori算法。1 Apriori 算法的基本思想2 Apriori算法的基本思想是通过对数据库的多次扫描来计算项集的支持度,发现的频繁项集从而生成关联规则。Apriori算法对数据集进行多次扫描。第一次扫描得到频繁1-项集的集合,第k(k>1)次扫描的结果来产生候选k-项集的集原创 2017-05-24 18:43:49 · 25195 阅读 · 24 评论 -
安装Spark+hadoop,spark、hadoop分布式集群搭建...(亲自搭建过!!)
首先说一下我所用的版本:spark-2.1.1-bin-hadoop2.7.tgz,hadoop-2.7.3.tar.gz,jdk-8u131-linux-x64.rpm,我们实验室有4台服务器:每个节点硬盘:300GB,内存:64GB。 1. 先装java1.8环境:给各个节点上传jdk-8u131-linux-x64.rpm到/home里面。用rpm安装。[root@localhost h原创 2017-11-20 17:58:38 · 15024 阅读 · 3 评论