自定义博客皮肤VIP专享

*博客头图:

格式为PNG、JPG,宽度*高度大于1920*100像素,不超过2MB,主视觉建议放在右侧,请参照线上博客头图

请上传大于1920*100像素的图片!

博客底图:

图片格式为PNG、JPG,不超过1MB,可上下左右平铺至整个背景

栏目图:

图片格式为PNG、JPG,图片宽度*高度为300*38像素,不超过0.5MB

主标题颜色:

RGB颜色,例如:#AFAFAF

Hover:

RGB颜色,例如:#AFAFAF

副标题颜色:

RGB颜色,例如:#AFAFAF

自定义博客皮肤

-+

剑雨江湖

--子狂

原创 canal的分库分表使用group-instance.xml

一、背景前提 公司的MySQL数据库是分库分表的,若要是按照一个库(IP)对应一个实例的话,就需要创建10个实例,而且改动还很不方便,一次需要改10个配置文件。所以查到canal自带这种功能; 对于分库分表的MySQL配置的port,username,password,database,tab...

2020-04-21 10:58:14 248 0

原创 canal-adapter使用,MySQL到kafka到MySQL

一、背景介绍 canal-adapter是canal的客户端适配器,能够直接将canal同步的数据写入到目标数据库(hbase,rdb,es),rdb是关系型数据库比如MySQL、Oracle、PostgresSQL和SQLServer等,比较的快捷方便。本文以MySQL-->canalS...

2020-03-25 15:39:42 382 0

原创 canal问题汇集,高可用,kerberos,tsdb,metric监控,admin等等

1、 2、 3、Could not find a 'KafkaClient' entry in the JAAS configuration. System property 'java.security.auth.login.config' is/ja...

2020-01-15 10:33:58 120 0

原创 CanalParseException: parse row data failed。CanalParseException: column size is not match for table:

com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.parse.exception.CanalParseException: com.alibaba.otter.canal.par...

2020-01-10 18:23:01 508 0

原创 prometheus的远程存储到clickhouse里面,prometheus store clickhouse

目录 一、现状介绍 1、背景 2、组件 二、配置 1、clickhouse配置 2、prometheus配置 3、prome2click配置 4、grafana配置 三、安装 四、测试 五、问题 1、make get-deps 报错如下 2、make build 报错如下...

2020-01-03 16:35:31 718 1

原创 idea第一次提交代码到GitHub

一、创建远程仓库 二、提交远程

2019-12-24 18:04:13 27 0

原创 TiDB单机,docker-compose安装

目录 一、环境准备 1、安装docker 2、安装docker-compose 3、安装mysql(可能不需要)root账号下安装 4、安装git 二、安装TiDB 三、测试 一、环境准备 本机环境是:centos7.3 1、安装docker 第一步:删除旧版本和相关依赖...

2019-12-23 17:53:44 79 0

原创 canal的kafka的kerberos认证,Could not find a 'KafkaClient' entry in the JAAS configuration. System proper

关于canal同步数据到kafka的kerberos认证,操作过程: 1、修改canal.properties canal.mq.kafka.kerberos.enable = true canal.mq.kafka.kerberos.krb5FilePath = ../conf/kerber...

2019-12-11 15:07:34 485 7

原创 top命令下CPU%一直超过百分之100甚至百分之200的原因

目录 一、问题 二、原因 三、解决 四、扩展 一、问题 程序运行之后,在服务器里面输入top命令,发现CPU%占用很高。领导让我调试代码,把CPU降下来 二、原因 最后发现这个并不是CPU的占用比,而是%CPU—上次更新到现在的CPU时间占用百分比,也就是说某一段时间内该程序使...

2019-11-28 11:18:29 663 0

原创 vue-admin-template和vue-element-admin框架的二次开发使用发布部署接口路由权限环境搭建,前端快速入门框架

目录 一、简介 1、项目简介 2、下载 3、环境搭建 二、框架 三、问题 1、界面开发 2、路由控制 3、接口请求 4、权限管理 四、发布 一、简介 1、项目简介 官网:https://github.com/PanJiaChen vue-element-admin是含...

2019-11-19 18:53:48 1325 0

原创 apache-pulsar集群搭建,以及demo

目录 一、介绍 1、apache-pulsar介绍 2、pulsar的优缺点,以及适用场景 3、服务器环境 4、下载安装包 二、集群安装 1、初始化元数据到zookeeper 2、部署bookKeeper集群 3、部署brokers集群 三、IDEA开发demo 1、消费者 ...

2019-10-17 12:35:56 272 0

原创 clickhouse的高级使用摸索

目录 前言 OLAP场景的关键特征 缺陷 一、集群模式搭建 1、centos系统安装 2、配置文件 3、启动 4、连接数据库 二、字段知识 三、表知识 1、表引擎介绍 2、集群模式表用法 四、综合使用 前言 ClickHouse是一个用于联机分析(OLAP)的列式数据...

2019-09-21 10:52:03 335 0

原创 canal-admin的高可用使用,单机使用,HA使用,阿里的canal的UI界面,管理canal的实例,以及问题

一、软件下载 1、介绍 canal的主要的作用就是通过MySQL的binlog日志文件,同步数据到MQ,MQ包含mysql、kafka、tcp等等 canal-admin是一个webUI界面,通过界面配置的方式,管理canal的配置文件,方便易于管理。 2、下载 使用的有点击下载:cana...

2019-09-16 11:29:51 2739 13

原创 canal基本知识

1、canal a、数据库设置 1.在/etc/my.cmf文件下添加以下三句话: log-bin = mysql-bin binlog-format=Row binlog_row_image =FULL (默认就是FULL不配也可以,出现数据字段丢失,就必须要配置) server-i...

2019-09-03 10:48:54 868 1

原创 kafka-spark-hive

1、场景介绍:数据发往kafka(500亿条每天),用spark读取kafka的数据,写入到hive表里面(ORC压缩算法,一个分区字段) 2、hive的介绍:hive表是分区表分区的字段是一个,想要使用动态分区,hive的压缩算法是ORC FILE 使用spark的组件spark...

2019-08-30 15:56:48 182 0

原创 npm cnpm

一、nrm命令 查看:nrm ls 切换:nrm use cnpm 切换到cnpm npm config set registry http://registry.npm.taobao.org/ 切换回来npm npm config set registry https://re...

2019-08-15 16:04:23 36 0

原创 Vue-element-admin的使用,初级摸索使用中,npm\node\vue

一、预备知识 npm:node.js的包管理工具,用于同一管理我们前端项目中需要用到的包、插件、工具、命令等,便于开发和维护 node.js: ES6:Javascript的新版本,ECMAScript6的简称。利用ES6我们可以简化我们的JS代码,同时利用其提供的强大功能来快速实现JS逻辑...

2019-08-15 11:28:53 367 0

原创 Permission denied: user=*****, access=WRITE, inode="/user":hdfs:supergroup:drwxr-xr-x

一、问题描述 在执行flink on yarn 时出现的问题,其实在出现问题之前,程序已经在测试环境运行了一个月没有问题,环境变了,又重新部署启动之后就出现了问题。启动命令如下: flink run -m yarn-cluster \ -p 4 -yjm 1024m -ytm 4096m \...

2019-08-15 10:30:56 152 0

原创 url 汇集(各类好文章)

http://cwiki.apachecn.org/pages/viewpage.action?pageId=4260364 ES的中文使用说明 https://www.oschina.net/project 开源中国网站社区 ht...

2019-08-07 09:54:33 44 0

原创 MySQL的定时任务

一、查看是否开启定时功能 select @@event_scheduler; -- 或 show variables like 'event_scheduler'; 二、开启定时任务功能 set GLOBAL event_scheduler=ON; 三、写自己的s...

2019-07-19 14:26:50 36 0

原创 org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result

org.apache.flink.client.program.ProgramInvocationException: Could not retrieve the execution result. at org.apache.flink.client.program.rest....

2019-07-05 12:40:09 4928 2

原创 MySQL的相关知识

一、bin-log 1、开启bin-log 在服务器下/etc/my.cmf文件下添加以下三句话: log-bin = mysql-bin binlog-format=Row server-id=1 2、查看bin-log show master status show maste...

2019-06-22 14:58:11 75 0

原创 shell的脚本的基本操作

1、获取文件路径 文件的路径:/home/hadoop/apps/clientCanal/bin/start.sh 执行start.sh文件 ./start.sh 以下是start.sh的文件内容 #!/bin/bash project_path=$(cd `dirname $0`;...

2019-06-22 11:38:03 50 0

原创 canal的远程配置canal.instance.global.mode = manager。。。canal源码追踪解析

一、canal的程序入口 在官网给的GitHub里面的deployer模块里面,官网:https://github.com/alibaba/canal/tree/master/deployer 其中的main方法在:com.alibaba.otter.canal.deployer.CanalL...

2019-06-12 10:59:17 478 0

原创 com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an e

com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! Caused by: java.io.IOException: E...

2019-05-30 17:45:00 1449 0

原创 java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/Object;)Ljava/lang/Object;

[2019-05-30 14:38:58,089] ERROR Exiting Kafka due to fatal exception (kafka.Kafka$) java.lang.NoSuchMethodError: scala.Predef$.ArrowAssoc(Ljava/lang/...

2019-05-30 15:05:36 1300 0

原创 canal高可用的数据重复消费问题,自动切换时消费端数据重复消费,canal高可用的搭建,运用以及问题,以及元数据保存问题,保存zookeeper清除

一、问题描述 搭建的canal是高可用模式,在IDEA里面进行消费的,但是在服务端进行切换时,出现了数据重复被消费的问题。salve1:11111开启服务时,往数据库里面插入了一条数据,然后又删除了这条数据,这是Mysql的bin-log会产生两条日志,客户端也获取到了这个两条数据。当我把sal...

2019-05-23 11:05:53 1620 0

原创 canal的数据,以及数据的结构

一、canal的message数据格式 1、数据的类型包 import com.alibaba.otter.canal.protocol.CanalEntry.Column; import com.alibaba.otter.canal.protocol.CanalEntry.Entry; ...

2019-05-21 17:02:26 1555 0

原创 Linux的时间设置,修改时间,免密登录

系统是centos6 一、修改时区 查看时间服务器是否是上海的:cat /etc/sysconfig/clock 如果不是则编辑该文件:vi/etc/sysconfig/clock 改成:ZONE="Asia/Shanghai" 我一般这样做了之后还是没有用,用dat...

2019-05-20 15:37:39 41 0

原创 maven的profile

一、效果展示:想通过勾选的方式选择配置文件 二、需求 在开发的过程中,会用到很多的配置文件,而对于不同的运行环境需要不同的配置文件(本地开发和测试环境,以及发布上线的环境),若只有一个配置文件,每次运行环境改变了,都要去改配置文件,改来改去的很容易出错,于是就想找一个简单方便的方法修改...

2019-05-19 20:35:38 46 0

原创 catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timesta

org.apache.spark.sql.catalyst.analysis.UnresolvedException: Invalid call to dataType on unresolved object, tree: 'timestamp 不知道什么问题,只是这一句报错就都没有...

2019-04-12 16:46:44 2401 0

原创 KafkaConsumer is not safe for multi-threaded access

1、关于structed streaming 读取kafka的问题: 数据流从kafka过来,根据条件的不同,会被拆分成好几个流式dataFrame,这些流式的DF会进行各种join操作,在这个过程中会随机的触发KafkaConsumer is not safe for multi-thread...

2019-04-12 16:35:22 800 0

原创 structed streaming 读取kafka数据

1、添加必要的maven依赖 <dependency> <groupId>org.scala-lang</groupId> <artifactId>scala-library</artifactId&...

2019-03-26 21:23:15 598 0

原创 Exception in thread "main" java.net.ConnectException: Call From DESKTOP-API5IFV/192.168.5.1 to hadoo

Exception in thread "main" java.net.ConnectException: Call From DESKTOP-API5IFV/192.168.5.1 to hadoop:8020 failed on connection exception: ...

2019-03-22 17:39:37 3115 2

原创 java项目的框架

1、总的来说分为三个步骤 1)创建maven项目,导jar包; 2)加载配置文件,加载资源文件 3)书写工具类; 2、加载配置文件的过程(conf) 1)书写配置文件 file.properties 例:mysql.user=root 2)配置文件常量类 Constents 例:m...

2019-03-14 22:18:02 158 0

转载 Java的异常

Java Exception: 1、Error 2、Runtime Exception 运行时异常 3、Exception 4、throw 用户自定义异常 异常类分两大类型:Error类代表了编译和系统的错误,不允许捕获;Exception类代表了标准Java库方法所激发的异常。Excepti...

2019-03-14 22:15:16 28 0

原创 Java游戏开发

1、电脑版计算机器 百度云连接:https://pan.baidu.com/s/1swMwN9tjKq4umNZ7wXjmuA 提取码:s7sq 2、坦克 百度云连接:https://pan.baidu.com/s/1E0Auwk6aXEoI-tcxck-dHg...

2019-03-08 18:32:45 230 0

原创 Java的关于加载配置文件位置问题

1、ReadSurce.class.getClassLoader().getResourceAsStream("data.properties"); 配置文件data.properties,是在src目录下,通过类加载器,进行加载的文件。在将文件打成jar包时,用该方法较好。...

2019-03-06 00:31:50 67 0

转载 log4j的日志等级以及使用

版权声明:本文由施勇原创,转载请注明作者和出处! http://blog.csdn.net/shiyong1949/article/details/52643711 log4j定义了8个级别的log(除去OFF和ALL,可以说分为6个级别),优先级从高到低依次为:OFF、FATAL、ERROR、...

2019-02-22 22:15:21 132 0

原创 spark的基础

1、spark最基础最核心的功能是sparkCore 2、 sparkcore主要包含:sparkContext、计算引擎、存储体系、部署模式 3、RDD:分布式数据集,是spark中最基本的数据抽象。它代表一个不可变,可分区的,内部元素可并行计算的集合。 4、sparkCore的基本代码功...

2019-02-21 22:15:45 34 0

提示
确定要删除当前文章?
取消 删除