Coursera课程Big Data Integration and Processing-Final Project Spark答案
Final Project是利用Spark读取tweet文档,并做相应的分析。这个题目我前后共花费了两周的时间,在spark里艰难探索,最后发现其实并没有想象的那么难。所以还是打算把答案分享出来,供在此题中艰难探索的同志们参考一下。# Import and create a new SQLContext from pyspark.sql import SQLContextsc=SparkContext.getOrCreate()sqlContext = SQLContext(sc)第一个坑,在C
原创
2020-11-03 10:55:48 ·
355 阅读 ·
0 评论