Spark
文章平均质量分 51
为了九亿少女的期待
各路大牛挥挥手
展开
-
将String类型的IP地址转换成Long类型
def ip2Long(ip:String):Long = { val fragments = ip.split("[.]") var ipNum = 0L for (i<-0 until fragments.length){ ipNum = fragments(i).toLong | ipNum << 8L } ipNum}原创 2018-08-29 21:58:12 · 675 阅读 · 0 评论 -
SparkStreaming介绍以及演示示例程序
简介:SparkStreaming是spark的一个模块,进行实时流数据的处理,如何处理呢,就是把数据流沿用一系列的批次数据,然后用DStream的抽象封装那么DStream是什么呢?RDD + 时间 = 有一个抽象的DStream,代表一个连续的数据流我们都知道,spark的抽象是RDD,用SparkContext抽象进行封装,sparkSQL的抽象是DataSet/DataFrame,...原创 2018-09-03 17:11:10 · 742 阅读 · 0 评论 -
史上最全的spark面试题——持续更新中
1.spark中的RDD是什么,有哪些特性?答:RDD(Resilient Distributed Dataset)叫做分布式数据集,是spark中最基本的数据抽象,它代表一个不可变,可分区,里面的元素可以并行计算的集合Dataset:就是一个集合,用于存放数据的Destributed:分布式,可以并行在集群计算Resilient:表示弹性的,弹性表示1.RDD中的数据可以存储...原创 2018-09-09 16:34:10 · 67953 阅读 · 7 评论