spark
h_sn999
这个作者很懒,什么都没留下…
展开
-
SparkStreaming教程
SparkStreaming教程概要Spark流是对于Spark核心API的拓展,从而支持对于实时数据流的可拓展,高吞吐量和容错性流处理。数据可以由多个源取得,例如:Kafka,Flume,Twitter,ZeroMQ,Kinesis或者TCP接口,同时可以使用由如map,reduce,join和window这样的高层接口描述的复杂算法进行处理。最终,处理过的数据可以被推送到文件系统,数据...转载 2020-02-05 21:00:25 · 518 阅读 · 0 评论 -
Spark Sql 加载json文件
package spark.demo.sqlimport org.apache.spark.sql.{ SparkSession}import org.apache.spark.{ SparkConf, SparkContext }object SqlJsonDemo { def main(args: Array[String]): Unit = { val conf = ...原创 2020-02-01 20:50:12 · 217 阅读 · 0 评论 -
Spark以反射方式创建DataFrame2
package spark.demo.sqlimport java.io.Serializableimport org.apache.spark.sql.{Dataset, Row, SparkSession}import org.apache.spark.{ SparkConf, SparkContext }object RDD2DataFrameReflectionDynamic...原创 2020-01-18 11:02:01 · 154 阅读 · 0 评论 -
Spark以反射方式创建DataFrame
package spark.demo.sqlimport java.utilimport java.util.{ArrayList, List}import org.apache.spark.sql.types.{DataTypes, StructField, StructType}import org.apache.spark.sql.{RowFactory, SparkSessio...原创 2020-01-18 10:47:14 · 208 阅读 · 0 评论