conf1 = SparkConf().setAppName(“WordCount”).setMaster(“local”)
sc1 = SparkContext(conf=conf1)
WFile = “/home/zhuang/138/input/userclicklogProblem.txt”
textFile1 = sc1.textFile(WFile)
wordCount1 = textFile1.map(lambda x:x.split(",")).filter(lambda x:len(x)==6).filter(lambda x:x[2].find(" ")).collect()
print(‘符合条件的数据是:{}’.format(wordCount1))
二 spark《数据源userclicklogProblem文件记录了用户点击的日志记录,但日志中存在不合规范的数据。请用Spark程序进程数据清洗,完成以下操作: # (1)过滤不满足6个字段的数》
最新推荐文章于 2020-12-06 21:15:41 发布