weixin_43020373的博客

生产者import org.apache.kafka.clients.producer.KafkaProducer;import org.apache.kafka.clients.producer.ProducerRecord;import org.apache.kafka.common.serialization.StringSerializer;import java.util.Pr...

import org.apache.commons.io.FileUtils;import org.apache.flume.Context;import org.apache.flume.Event;import org.apache.flume.EventDrivenSource;import org.apache.flume.channel.ChannelProcessor;imp...

import Utils.RedisOffsetimport day09.Jpoolsimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010.{ConsumerStrat...

import java.langimport kafka.utils.{ZKGroupTopicDirs, ZkUtils}import org.I0Itec.zkclient.ZkClientimport org.apache.kafka.common.TopicPartitionimport org.apache.kafka.common.serialization.StringDes...

import java.langimport Utils.OffsetManagerimport org.apache.kafka.common.serialization.StringDeserializerimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka010._import org.ap...

排序规则：先按照年龄排序，年龄小的往前排，年龄如果相同，按照按照作品次数排序方式一import org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object CustomSortDemo1 { def main(args: Array[String]): Unit = { va...

import java.sql.DriverManagerimport org.apache.spark.rdd.JdbcRDDimport org.apache.spark.{SparkConf, SparkContext}object JdbcRDDDemo { val getConnection = () => { DriverManager.getConnect...

主程序import org.apache.spark.broadcast.Broadcastimport org.apache.spark.rdd.RDDimport org.apache.spark.{SparkConf, SparkContext}object ProvinceAndIpDemo { def main(args: Array[String]): Unit = {...

什么是RDDRDD 是 Spark 的计算模型。RDD（Resilient Distributed Dataset）叫做弹性的分布式数据集合，是 Spark 中最基本的数据抽象，它代表一个不可变、只读的，被分区的数据集。操作 RDD 就像操作本地集合一样，有很多的方法可以调用，使用方便，而无需关心底层的调度细节。RDD的三种创建形式集合并行化创建（通过 scala 集合创建） sca...

java代码import org.apache.spark.SparkConf;import org.apache.spark.api.java.JavaPairRDD;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.s...

NothingNothing是所有类型的子类，它没有对象，但是可以定义类型，如果一个类型抛出异常，那这个返回值类型就是NothingNullNull是AnyRef的子类（引用类型） null是Null唯一的对象NoneNone是Option的一个子类，一个Some集合，一个None，如果Option中没有值，则返回NoneNilNil是一个空List，定义为List[Nothing]...

柯里化柯里化是是一个过程是指将原来接收两个参数的方法变成新的接收一个单一参数的方法的过程，新的方法返回一个以原有第二个参数为参数的方法def add(x:Int,y:Int)= x+y//add(1,2)def add(x:Int)(y:Int) = x+y//add(1)(2)结果都一样，这个过程就叫柯里化，柯里化之后，方法通用性降低，适应性有所提高...

多态scala中的多态同java1.父类引用指向子类对象2.接口指向实现类3.方法需要重写//父类abstract class Element { def demo(): Unit ={ println("Element invoked") }}//子类class ArrayElement extends Element{ //重写demo方法 overr...

scala构造器主构造器1.在scala中，主构造器是和类名放在一起的，有且只有一个，与java不同，java可以有多个构造方法，多个构造方法之间可以实现重载2.主构造器还可以通过使用默认参数，来给参数默认的值3.在类中，没有定义在任何方法中的代码（包括成员类型），都属于主构造器的代码，且执行顺序与代码的书写的顺序是一致的辅助构造器1.辅助构造器可以又多个2.多个辅助器之间可以调用...

集合中的常用方法reduce方法val arr = Array(1,2,5,7,10)arr.reduce((x,y) => x+y) //25arr.reduce((x,y) => x*y) //700//reduce 默认请求是reduceLeft,从左到右开始计算val arr2 = Array(1,2,3,4,5)arr2.reduce(_-_) // -13 ...

集合数组可变长数组：长度和角标元素都可变不可变长数组：长度不可变，但是角标元素可变默认的数组都是不可变数组//Array初始化的时候并不是不需要new，而是Array实现了apply方法，该方法帮我们实现了new关键字scala> val arr = Array(1,2,3,4,5)arr: Array[Int] = Array(1, 2, 3, 4, 5)scala&gt...

集合数组可变长数组：长度和角标元素都可变不可变长数组：长度不可变，但是角标元素可变默认的数组都是不可变数组//Array初始化的时候并不是不需要new，而是Array实现了apply方法，该方法帮我们实现了new关键字scala> val arr = Array(1,2,3,4,5)arr: Array[Int] = Array(1, 2, 3, 4, 5)scala&gt...

1.变量的声明和定义var：可变的val：不可变的尽量用val标准格式 val name:String=“zhangsan”val:变量声明name:变量名:分隔符String:变量类型“zhangsan”:变量值注意：如果说变量的值是默认值的话，那么变量的声明一定是需要可变的，否则就没有声明变量的实际意义了默认值对应java2.scala数据类型同java跟java相...

HMaster1.监控RegionServer2.处理RegionServer故障转移3.处理region分配或出4.在空闲时进行数据的负载均衡5.通过Zookeeper发布自己的位置给客户端RegionServer1.负责存储HBase的实际数据2.处理分配给他的Region3.刷新缓存到HDFS4.维护Hlog5.负责处理Region分片...

进入hbase命令行./hbase shell退出命令行exit 或 quit显示hbase中的表list创建person表，包含info，data两个列族create ‘person’,‘info’,‘data’向person表中插入信息，rowkey为001，列族info中添加name列标识符，值为zhangsanput ‘person’,‘001’,‘info:name’...