spark
文章平均质量分 81
jinshengwork
这个作者很懒,什么都没留下…
展开
-
spark基于ALS的协同过虑实例
plens.org/datasets/movielens/ 下载电影评分数据,查看一下README里面有对数据集的介绍。 对数据进行预处理: cat u1.base | awk -F "\t" '{print $1"::"$2"::"$3"::"$4}' > ratings.dat cat u.item | awk -F "|" '{print $1"\t"$2016-07-26 13:59:17 · 117 阅读 · 0 评论 -
基于spark的DataFrame实战
2016-07-27 21:24:59 · 187 阅读 · 0 评论 -
spark基于Streaming的累加器(updateStateByKey)
ractice2/ 代码如下: import org.apache.spark.streaming.dstream.ReceiverInputDStream import org.apache.spark.{HashPartitioner, SparkConf} import org.apache.spark.streaming.kafka.KafkaUtils import org.apache.spark.streaming.{Duration, Seconds, StreamingConte2016-07-28 11:05:46 · 143 阅读 · 0 评论 -
分享 scala maven 工程pom配置
//maven.apache.org/POM/4.0.0 http://maven.apache.org/xsd/maven-4.0.0.xsd"> <modelVersion>4.0.0</modelVersion> <groupId>com.bohai</groupId> <artifactId>TestSB2016-08-10 17:06:47 · 217 阅读 · 0 评论