剑雨江湖

--子狂

canal的远程配置canal.instance.global.mode = manager。。。canal源码追踪解析

一、canal的程序入口 在官网给的GitHub里面的deployer模块里面,官网:https://github.com/alibaba/canal/tree/master/deployer 其中的main方法在:com.alibaba.otter.canal.deployer.CanalL...

2019-06-12 10:59:17

阅读数 27

评论数 0

com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an e

com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! Caused by: java.io.IOException: ErrorPacket...

2019-05-30 17:45:00

阅读数 4

评论数 0

java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

[2019-05-30 14:38:58,089] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$) java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/...

2019-05-30 15:05:36

阅读数 9

评论数 0

canal高可用的数据重复消费问题,自动切换时消费端数据重复消费,canal高可用的搭建,运用以及问题

一、问题描述 搭建的canal是高可用模式,在IDEA里面进行消费的,但是在服务端进行切换时,出现了数据重复被消费的问题。salve1:11111开启服务时,往数据库里面插入了一条数据,然后又删除了这条数据,这是Mysql的bin-log会产生两条日志,客户端也获取到了这个两条数据。当我把sal...

2019-05-23 11:05:53

阅读数 22

评论数 0

canal的数据,以及数据的结构

一、canal的message数据格式 1、数据的类型包 import com.alibaba.otter.canal.protocol.CanalEntry.Column; import com.alibaba.otter.canal.protocol.CanalEntry.Entry; ...

2019-05-21 17:02:26

阅读数 9

评论数 0

Linux的时间设置,修改时间,免密登录

系统是centos6 一、修改时区 查看时间服务器是否是上海的:cat /etc/sysconfig/clock 如果不是则编辑该文件:vi/etc/sysconfig/clock 改成:ZONE="Asia/Shanghai" 我一般这样做了之后还是没有用,用dat...

2019-05-20 15:37:39

阅读数 7

评论数 0

maven的profile

一、效果展示:想通过勾选的方式选择配置文件 二、需求 在开发的过程中,会用到很多的配置文件,而对于不同的运行环境需要不同的配置文件(本地开发和测试环境,以及发布上线的环境),若只有一个配置文件,每次运行环境改变了,都要去改配置文件,改来改去的很容易出错,于是就想找一个简单方便的方法修改...

2019-05-19 20:35:38

阅读数 13

评论数 0

catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timesta

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timestamp 不知道什么问题,只是这一句报错就都没有找到问题的...

2019-04-12 16:46:44

阅读数 130

评论数 0

KafkaConsumer is not safe for multi-threaded access

1、关于structed streaming 读取kafka的问题: 数据流从kafka过来,根据条件的不同,会被拆分成好几个流式dataFrame,这些流式的DF会进行各种join操作,在这个过程中会随机的触发KafkaConsumer is not safe for multi-thread...

2019-04-12 16:35:22

阅读数 72

评论数 0

structed streaming 读取kafka数据

1、添加必要的maven依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId&...

2019-03-26 21:23:15

阅读数 85

评论数 0

Exception in thread "main" java.net.ConnectException: Call From DESKTOP-API5IFV/192.168.5.1 to hadoo

Exception in thread "main" java.net.ConnectException: Call From DESKTOP-API5IFV/192.168.5.1 to hadoop:8020 failed on connection exception: ...

2019-03-22 17:39:37

阅读数 410

评论数 0

java项目的框架

1、总的来说分为三个步骤 1)创建maven项目,导jar包; 2)加载配置文件,加载资源文件 3)书写工具类; 2、加载配置文件的过程(conf) 1)书写配置文件 file.properties 例:mysql.user=root 2)配置文件常量类 Constents 例:m...

2019-03-14 22:18:02

阅读数 23

评论数 0

Java的异常

Java Exception: 1、Error 2、Runtime Exception 运行时异常 3、Exception 4、throw 用户自定义异常 异常类分两大类型:Error类代表了编译和系统的错误,不允许捕获;Exception类代表了标准Java库方法所激发的异常。Excepti...

2019-03-14 22:15:16

阅读数 7

评论数 0

Java游戏开发

1、电脑版计算机器 百度云连接:https://pan.baidu.com/s/1swMwN9tjKq4umNZ7wXjmuA 提取码:s7sq 2、坦克 百度云连接:https://pan.baidu.com/s/1E0Auwk6aXEoI-tcxck-dHg...

2019-03-08 18:32:45

阅读数 109

评论数 0

Java的关于加载配置文件位置问题

1、ReadSurce.class.getClassLoader().getResourceAsStream("data.properties"); 配置文件data.properties,是在src目录下,通过类加载器,进行加载的文件。在将文件打成jar包时...

2019-03-06 00:31:50

阅读数 26

评论数 0

log4j的日志等级以及使用

版权声明:本文由施勇原创,转载请注明作者和出处! http://blog.csdn.net/shiyong1949/article/details/52643711 log4j定义了8个级别的log(除去OFF和ALL,可以说分为6个级别),优先级从高到低依次为:OFF、FATAL、ERROR、...

2019-02-22 22:15:21

阅读数 80

评论数 0

spark的基础

1、spark最基础最核心的功能是sparkCore 2、 sparkcore主要包含:sparkContext、计算引擎、存储体系、部署模式 3、RDD:分布式数据集,是spark中最基本的数据抽象。它代表一个不可变,可分区的,内部元素可并行计算的集合。 4、sparkCore的基本代码功...

2019-02-21 22:15:45

阅读数 14

评论数 0

Cannot create directory /user/hive. Name node is in safe mode.The reported blocks 1 needs additiona

org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.hdfs.server.namenode.SafeModeException): Cannot create directory /user/hive. Name node is in ...

2019-01-10 22:50:38

阅读数 114

评论数 0

org.apache.hadoop.security.AccessControlException: Permission denied: user=A

Windows系统连接Linux的Hadoop文件系统,对于没有权限的问题 解决办法:有两种 1、在程序的main方法里面,最上面一行加入 System.setProperty("HADOOP_USE_NAEM","user&q...

2019-01-07 22:19:38

阅读数 83

评论数 1

ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException

19/01/06 15:28:13 ERROR util.Shell: Failed to locate the winutils binary in the hadoop binary path java.io.IOException: Could not locate executable n...

2019-01-06 16:35:05

阅读数 204

评论数 0

提示
确定要删除当前文章?
取消 删除
关闭
关闭