Spark
Wilton_Zheng
这个作者很懒,什么都没留下…
展开
-
Spark Sql
val hobbyDF = info.map(_.split("\t")).map(t=>Hobbies(t(0),t(1))).toDFhobbyDF.printSchemahobbyDF.showhobbyDF.registerTempTable("hobbies")// 定义函数: 自己写匿名函数(将某个字段中逗号分隔的数量统计出来)// 注册函数: SQLContect.udf.re...原创 2018-06-02 22:55:43 · 211 阅读 · 0 评论 -
Spark Stream 开发实战
nc -lk 9999val conf = new SparkConf().setAppName("test")val sc = new SparkContext(sc)val ssc = new StreamingContext(sc,Second(1))或者直接val ssc = new StreamingContext(SparkConf,Second(1))val lines = ssc....原创 2018-06-02 22:58:21 · 566 阅读 · 0 评论