MySQL-System
文章平均质量分 65
露落梨花
这个作者很懒,什么都没留下…
展开
-
centos8 离线安装redis的艰苦历程(gcc、make、redis)
离线安装redis原创 2022-12-08 16:38:23 · 2469 阅读 · 4 评论 -
java mysql emoji表情读写的问题
一、背景环境 服务器 mysql mysql-connector-java.jar 本地 mac 5.7.32 5.1.48 线上 centos 5.7.32 5.1.48 utf8mb4支持的mysql版本为5.5.3+,若mysql低于该版本请先升级二、问题网上查阅,都明确指向mysql的表情问题22/05/30 14:47:41 WARN [task-result-getter-0.原创 2022-05-30 18:13:39 · 322 阅读 · 0 评论 -
TiDB单机,docker-compose安装
目录一、环境准备1、安装docker2、安装docker-compose3、安装mysql(可能不需要)root账号下安装4、安装git二、安装TiDB三、测试一、环境准备本机环境是:centos7.31、安装docker第一步:删除旧版本和相关依赖,运行命令:yum remove docker \ doc...原创 2019-12-23 17:53:44 · 620 阅读 · 1 评论 -
canal的kafka的kerberos认证,Could not find a 'KafkaClient' entry in the JAAS configuration. System proper
关于canal同步数据到kafka的kerberos认证,操作过程:1、修改canal.propertiescanal.mq.kafka.kerberos.enable = truecanal.mq.kafka.kerberos.krb5FilePath = ../conf/kerberos/krb5.confcanal.mq.kafka.kerberos.jaasFilePath =...原创 2019-12-11 15:07:34 · 8421 阅读 · 9 评论 -
apache-pulsar集群搭建,以及demo
目录一、介绍1、apache-pulsar介绍2、pulsar的优缺点,以及适用场景3、服务器环境4、下载安装包二、集群安装1、初始化元数据到zookeeper2、部署bookKeeper集群3、部署brokers集群三、IDEA开发demo1、消费者2、生产者一、介绍1、apache-pulsar介绍参考:https://blog.cs...原创 2019-10-17 12:35:56 · 2191 阅读 · 0 评论 -
clickhouse的高级使用摸索
目录前言OLAP场景的关键特征缺陷一、集群模式搭建1、centos系统安装2、配置文件3、启动4、连接数据库二、字段知识三、表知识1、表引擎介绍2、集群模式表用法四、综合使用前言ClickHouse是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)。OLAP场景的关键特征大多数是读请求 数据总是以相当大的批(>...原创 2019-09-21 10:52:03 · 2626 阅读 · 0 评论 -
canal-admin的高可用使用,单机使用,HA使用,阿里的canal的UI界面,管理canal的实例,以及问题
一、软件下载1、介绍canal的主要的作用就是通过MySQL的binlog日志文件,同步数据到MQ,MQ包含mysql、kafka、tcp等等 canal-admin是一个webUI界面,通过界面配置的方式,管理canal的配置文件,方便易于管理。2、下载使用的有点击下载:canal.deployer-1.1.4.tar.gz 和 canal.admin-1.1.4.tar....原创 2019-09-16 11:29:51 · 9798 阅读 · 13 评论 -
canal高可用的数据重复消费问题,自动切换时消费端数据重复消费,canal高可用的搭建,运用以及问题,以及元数据保存问题,保存zookeeper清除
一、问题描述搭建的canal是高可用模式,在IDEA里面进行消费的,但是在服务端进行切换时,出现了数据重复被消费的问题。salve1:11111开启服务时,往数据库里面插入了一条数据,然后又删除了这条数据,这是Mysql的bin-log会产生两条日志,客户端也获取到了这个两条数据。当我把salve1的服务stop.sh关掉之后,salve2:11111开启了服务,但是在客户端又重新获取到了这两...原创 2019-05-23 11:05:53 · 5622 阅读 · 1 评论 -
canal基本知识
1、canala、数据库设置1.在/etc/my.cmf文件下添加以下三句话:log-bin = mysql-binbinlog-format=Rowbinlog_row_image =FULL (默认就是FULL不配也可以,出现数据字段丢失,就必须要配置)server-id=1关于:binlog_row_image参数的说明:https://blog.csdn...原创 2019-09-03 10:48:54 · 2158 阅读 · 1 评论 -
MySQL的定时任务
一、查看是否开启定时功能select @@event_scheduler;-- 或 show variables like 'event_scheduler';二、开启定时任务功能set GLOBAL event_scheduler=ON;三、写自己的sql逻辑DELIMITER // create procedure del_7_data() -- 名字BEGI...原创 2019-07-19 14:26:50 · 104 阅读 · 0 评论 -
MySQL的相关知识
一、bin-log1、开启bin-log在服务器下/etc/my.cmf文件下添加以下三句话:log-bin = mysql-binbinlog-format=Rowserver-id=12、查看bin-logshow master statusshow master logsshow binary logs ;show binlog events in '...原创 2019-06-22 14:58:11 · 133 阅读 · 0 评论 -
canal的远程配置canal.instance.global.mode = manager。。。canal源码追踪解析
一、canal的程序入口在官网给的GitHub里面的deployer模块里面,官网:https://github.com/alibaba/canal/tree/master/deployer其中的main方法在:com.alibaba.otter.canal.deployer.CanalLauncher类里面二、加载canal的全局配置文件追踪源码发现canal加载配置文件有两种方...原创 2019-06-12 10:59:17 · 1999 阅读 · 0 评论 -
canal的数据,以及数据的结构
一、canal的message数据格式1、数据的类型包import com.alibaba.otter.canal.protocol.CanalEntry.Column;import com.alibaba.otter.canal.protocol.CanalEntry.Entry;import com.alibaba.otter.canal.protocol.CanalEntry....原创 2019-05-21 17:02:26 · 6330 阅读 · 0 评论 -
Redis
redis (内存数据缓存)1、redis :是一款key——value的内存系统或内存数据库2、Redis的特点: (1)Redis支持数据持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载到内存中 (2)Redis支持的数据结构:String、set、zset、map、list (3)Redis支持数据的备份3、Redi...原创 2018-07-05 09:20:59 · 110 阅读 · 0 评论 -
Kafka
kafka (消息队列)1、kafka:在流式计算中,kafka一般用于数据缓存,storm通过kafka的数据进行计算。2、kafka的特性: 高吞吐量、低延迟 可扩展性 持久性、可靠性 容错性 高并发3、kafka的核心组件: (1)broker:kafka的节点,一个kafka节点就是一个...原创 2018-07-04 09:29:01 · 496 阅读 · 0 评论 -
Flume
flume (数据收集工具)1、flume是一个分布式可靠的高可用的海量日志聚合系统,支持在系统中定制各类数据发送方,用于收集数据。 同时,flume提供对数据的简单处理,并写到数据接收的能力。2、flume的优势:可横向扩展、延展性、可靠性3、flume的组件: (1)Source 负责接收 event 或通过特殊机制产生 ...原创 2018-07-04 09:28:02 · 122 阅读 · 0 评论 -
azkaban
azkaban1、azkaban是由linked开源的一个批量工作流任务调度器。(工作流调度器)2、他是由三个部分组成:Azkaban Web Server 和Azkaban Executor Server 和MySql Web:管理服务器 Executor:执行管理器 Mysql:关系数据库3、使用: (1)在windows上写HDFS、h...原创 2018-07-04 09:23:49 · 642 阅读 · 0 评论 -
Sqoop
Sqoop1、sqoop:是一个工具,主要用于导入导出,实现MySQL到Hadoop之间数据的转换2、导入数据:从结构化数据(Mysql,oracle,db2,)导入到半结构化或非结构化hadoop中(HDFS、HIVE、HBASE)3、导出数据:从haoop中将数据导出到关系数据库中MySql总体作用: 导入:MySQL-------&...原创 2018-07-04 09:21:52 · 230 阅读 · 0 评论