曾经哥也学过scala,spark。下面为helloworld案例:
1. wordcount
只需两行代码,其实还可压缩成一行。就完成了词频统计,确实编码效率高啊
2. sparksql
创建sql的上下文,导包,读文件,生成RDD
RDD转化成表,查询条件查询,打印结果
现在好像都不用shark了,都改用sparksql了。不过南京这边,hadoop还是重头戏。
曾经哥也学过scala,spark。下面为helloworld案例:
1. wordcount
只需两行代码,其实还可压缩成一行。就完成了词频统计,确实编码效率高啊
2. sparksql
创建sql的上下文,导包,读文件,生成RDD
RDD转化成表,查询条件查询,打印结果
现在好像都不用shark了,都改用sparksql了。不过南京这边,hadoop还是重头戏。