- 博客(6)
- 收藏
- 关注
原创 sqoop2的安装使用 mysql->hbase,phoenix
https://blog.csdn.net/weixin_43241054/article/details/89036669 --安装https://blog.csdn.net/xuxudede1989/article/details/81700251 --使用
2020-12-10 17:27:50
114
原创 Mysql的执行计划、主键索引、建表语句解析
Mysql的执行计划:执行explain+sql语句,你就能看到类似下图的结果:id:select查询的序列号**1,当id相同时:**执行顺序由上至下**2、当id不同时:**id越大,优先级越高,越先被执行select_type:查询的类型,主要是用于区分普通查询、联合查询、子查询等复杂的查询1、SIMPLE:简单的select查询,查询中不包含子查询或者union2、PRIMARY:查询中包含任何复杂的子部分,最外层查询则被标记为primary 3、SUBQUERY:在se
2020-12-04 16:30:23
333
原创 Sqoop将Mysql数据同步到Hbase
Sqoop将Mysql->Hbase1、首先进入Hbase中创建一张表bin/hbase shellcreate 'alarm','info1' 表名:alarm 列簇:info12、进入Sqoop的bin目录下执行./sqoop import \--connect "jdbc:mysql://10.3.7.231:3306/dtc_platform?useUnicode=true&characterEncoding=utf-8&useSSL=false" \
2020-12-01 10:30:38
253
原创 DataX实现Mysql->Mysql数据同步,并用Crontab定时调度DataX脚本
DataX的安装部署1、 前提条件:1.1 JDK安装jdk安装前往官网,这里我安装jdk-8u261解压sudo mkdir -p /opt/moudlesudo tar -zxvf jdk-8u261-linux-x64.tar.gz -C /opt/moudle/设置环境变量export JAVA_HOME=/opt/moudle/jdk1.8.0_261export JRE_HOME=JAVA_HOME/jre export CLASSPATH=.:{JAVA_HOME}/jre
2020-12-01 10:01:52
593
1
原创 Canal同步Mysql的binlog日志到Kafka
1、canal的工作原理1、在我们对mysql进行增删改的操作(查询除外),Master主库会将我们的操作记录写到二进制日志(binary log)中2、Slave从库向Master主库发送dump协议,将Master主库的binary log events拷贝到它的中继日志(relay log)3、Slava读取中继日志数据,将改变的数据同步到自己的数据库中4、canal的工作原理就很简单,它是将自己伪装成mysql的Slave节点,从Master主库同步改变的数据到自己的库中(如下图所示)
2020-11-30 21:04:11
767
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人