![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Spark
小鱼编程
越努力,越幸运
展开
-
电影推荐系统项目(简单完善版)spark
#创建SparkSession对象 from pyspark.sql import SparkSession spark=SparkSession.builder.appName('lin_reg').getOrCreate() #inferSchema=true表示Spark将在后台自行推断数据集中值的数据类型,Spark DataFrame df=spark.read.csv('movie_ratings_df.csv',inferSchema=True,header=True) print((df.c原创 2020-09-22 21:35:21 · 1246 阅读 · 0 评论 -
spark streaming(文件流,套接字流,RDD队列流)
文件流 >>> from pyspark import SparkContext >>> from pyspark.streaming import StreamingContext >>> ssc=StreamingContext(sc,10) >>> lines=ssc.textFileStream('file:///usr/local/spark/mycode/streaming/logfile') >>> wo原创 2020-09-21 11:25:01 · 975 阅读 · 0 评论 -
Spark的RDD编程代码(方便查看自用)
RDD转换(Transform)操作 1.导入文件的信息,打印出来 >>> sc.stop() >>> from pyspark import SparkConf,SparkContext >>> conf=SparkConf().setMaster("local").setAppName("My App") >>> sc=SparkContext(conf=conf) >>> lines=sc.textFile("f原创 2020-09-19 20:52:28 · 449 阅读 · 0 评论