自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+
  • 博客(12)

原创 Debezium获取MySQL Binlog同步到kafka,sparkStreaming实现实时计算

Debezium获取MySQL Binlog同步到kafka,sparkStreaming实现实时计算版本信息:kafka(kafka_2.11-2.1.1)zookeeper(zookeeper-3.4.10)sprak(spark-2.1.0-bin-hadoop2.7)Debezium(debezium-connector-mysql-0.9.5.Final-plugin.tar.gz)Debezium下载地址https://repo1.maven.org/maven2/io/debezi

2020-09-02 10:46:28 74

原创 Spark Streaming整合Kafka,Mysql,实时保存数据到Mysql(直接读取方式)

集群分配如下:192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本:spark-2.1.0-bin-hadoop2.7kafka版本:kafka_2.11-2.0.0Spark Streaming程序package com.kk.sparkstreaming.kafkaimport org....

2018-12-03 10:42:31 4235 3

原创 SparkSQL创建表的几种方式

数据格式:7654,MARTIN,SALESMAN,7698,1981/9/28,1250,1400,30// 需要导入的包import org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderi...

2018-11-25 20:42:46 7581

原创 idea中使用mybatis,mapper和xml不能在同一级,解决方法

需要在pom.xml中添加<build> <finalName>cdn</finalName> <resources> <resource> <directory>src/main/java</directory> <includes> <include>**/*.p...

2019-06-04 17:33:02 506

原创 springboot启动报错解决方案(ApplicationEventMulticaster not initialized - call 'refresh' before multicasting)

报错异常java.lang.IllegalStateException:ApplicationEventMulticasternotinitialized-call'refresh'beforemulticastingeventsviathecontext:org.springframework.context.annotation.AnnotationCo...

2019-05-13 08:33:45 1313

原创 Spark Streaming整合Kafka,Mysql,实时保存数据到Mysql(基于Receiver的方式)

集群分配如下:192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本:spark-2.1.0-bin-hadoop2.7kafka版本:kafka_2.11-2.0.0Spark Streaming程序package com.kk.sparkstreaming.kafkaimport org....

2018-12-03 10:43:11 653

原创 Spark Streaming整合Flume,Mysql(基于Flume的Pull模式),实时保存数据到Mysql

集群分配如下:192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本:spark-2.1.0-bin-hadoop2.7flume版本:apache-flume-1.7.0-binflume配置如下:#flume启动命令#bin/flume-ng agent -n a1 -f myagent/a...

2018-11-30 16:59:52 130

原创 Spark Streaming整合Flume,Mysql(基于Flume的Push模式),实时保存数据到Mysql

集群分配如下:192.168.58.11 spark01192.168.58.12 spark02192.168.58.13 spark03spark版本:spark-2.1.0-bin-hadoop2.7flume版本:apache-flume-1.7.0-binflume配置如下:#flume启动命令#bin/flume-ng agent -n a4 -f conf/a4.c...

2018-11-30 16:58:58 144

原创 SparkSql操作表的两种方式

package com.kk.sparksqlimport org.apache.spark.SparkConfimport org.apache.spark.SparkContextimport org.apache.spark.sql.catalyst.encoders.ExpressionEncoderimport org.apache.spark.sql.Encoderimpor...

2018-11-25 21:02:15 880

原创 Scala中常用的高阶函数

// map->在列表的每个元素上计算一个函数,并且返回一个包含相同数目元素的列表def main(args:Array[String]) { val num = List(1,2,3,4) num.map((i:Int)=>i*2) for (n <- num.map((i:Int)=>i*2)) { println(n) }...

2018-11-21 22:58:58 261

原创 Scala中的文件访问

1. 读取行def main(args:Array[String]) { // 读取行 val source = scala.io.Source.fromFile("G://a.txt"); println(source.mkString); val line = source.getLines(); for (s<-line) { pr...

2018-11-21 22:57:13 308

原创 Scala中的继承,抽象,特质

1. 继承// 父类class Person(val name:String, val age:Int) { def sayHello():String = name + age;}// 子类// 如果希望使用子类中的值,去覆盖父类中的值,需要加override关键字class Employee(override val name:String,override val age:...

2018-11-20 23:03:09 65

空空如也

空空如也

空空如也
提示
确定要删除当前文章?
取消 删除