- 博客(14)
- 收藏
- 关注
RSS订阅原创 kafka偏移量利用redis来管理
import Utils.RedisOffsetimport day09.Jpoolsimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerStrat...
2018-12-27 20:19:56
1076
原创 ZK管理kafka偏移量
import java.langimport kafka.utils.{ZKGroupTopicDirs, ZkUtils}import org.I0Itec.zkclient.ZkClientimport org.apache.kafka.common.TopicPartitionimport org.apache.kafka.common.serialization.StringDes...
2018-12-26 19:03:29
1291
原创 mysql管理kafka偏移量
import java.langimport Utils.OffsetManagerimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010._import org.ap...
2018-12-26 19:02:41
984
原创 Spark自定义排序
排序规则：先按照年龄排序，年龄小的往前排，年龄如果相同，按照按照作品次数排序方式一import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object CustomSortDemo1 { def main(args: Array[String]): Unit = { va...
2018-12-14 14:03:17
196
原创 Spark读取数据库表中的文件
import java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object JdbcRDDDemo { val getConnection = () => { DriverManager.getConnect...
2018-12-13 19:54:32
450
原创 Spark读取本地数据到数据库
主程序import org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ProvinceAndIpDemo { def main(args: Array[String]): Unit = {...
2018-12-13 19:53:27
749
原创 Spark基础（RDD）(常用算子)
什么是RDDRDD 是 Spark 的计算模型。RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是 Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD 就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。RDD的三种创建形式集合并行化创建（通过 scala 集合创建） sca...
2018-12-11 00:05:14
2936
原创 Spark基础WordCount(Java于Scala)
java代码import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.s...
2018-12-10 17:50:04
103
原创 scala中Nil，Null，None，Nothing的区别
NothingNothing是所有类型的子类，它没有对象，但是可以定义类型，如果一个类型抛出异常，那这个返回值类型就是NothingNullNull是AnyRef的子类（引用类型） null是Null唯一的对象NoneNone是Option的一个子类，一个Some集合，一个None，如果Option中没有值，则返回NoneNilNil是一个空List，定义为List[Nothing]...
2018-12-07 11:24:28
2612
原创 scala语法(五)
柯里化柯里化是是一个过程是指将原来接收两个参数的方法变成新的接收一个单一参数的方法的过程，新的方法返回一个以原有第二个参数为参数的方法def add(x:Int,y:Int)= x+y//add(1,2)def add(x:Int)(y:Int) = x+y//add(1)(2)结果都一样，这个过程就叫柯里化，柯里化之后，方法通用性降低，适应性有所提高...
2018-12-05 21:10:15
119
原创 scala语法(四)
多态scala中的多态同java1.父类引用指向子类对象2.接口指向实现类3.方法需要重写//父类abstract class Element { def demo(): Unit ={ println("Element invoked") }}//子类class ArrayElement extends Element{ //重写demo方法 overr...
2018-12-04 22:38:10
142
原创 Scala语法(三)
scala构造器主构造器1.在scala中，主构造器是和类名放在一起的，有且只有一个，与java不同，java可以有多个构造方法，多个构造方法之间可以实现重载2.主构造器还可以通过使用默认参数，来给参数默认的值3.在类中，没有定义在任何方法中的代码（包括成员类型），都属于主构造器的代码，且执行顺序与代码的书写的顺序是一致的辅助构造器1.辅助构造器可以又多个2.多个辅助器之间可以调用...
2018-12-03 22:20:42
168
原创 Scala语法(二-补充)
集合中的常用方法reduce方法val arr = Array(1,2,5,7,10)arr.reduce((x,y) => x+y) //25arr.reduce((x,y) => x*y) //700//reduce 默认请求是reduceLeft,从左到右开始计算val arr2 = Array(1,2,3,4,5)arr2.reduce(_-_) // -13 ...
2018-12-02 21:00:07
235
1
原创 Scala语法（二）
集合数组可变长数组：长度和角标元素都可变不可变长数组：长度不可变，但是角标元素可变默认的数组都是不可变数组//Array初始化的时候并不是不需要new，而是Array实现了apply方法，该方法帮我们实现了new关键字scala> val arr = Array(1,2,3,4,5)arr: Array[Int] = Array(1, 2, 3, 4, 5)scala&gt...
2018-12-01 23:20:07
176
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人