qq_41794285的博客

简介Canal：译意为水道/管道/沟渠，主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费早期阿里巴巴因为杭州和美国双机房部署，存在跨机房同步的业务需求，实现方式主要是基于业务 trigger 获取增量变更。从 2010 年开始，业务逐步尝试数据库日志解析获取增量变更进行同步，由此衍生出了大量的数据库增量订阅和消费业务。基于日志增量订阅和消费的业务包括数据库镜像数据...

简介Kafka，分布式消息发布&订阅系统，流处理平台1.发布-订阅流式记录2.存储流式记录，有较好的容错性3.可以在流式记录产生时就进行处理 Kafka Streaming使用场景1.构建实时流数据管道，在系统和应用间有效的获取数据2.构建实时流式应用程序核心APIThe Producer API 允许一个应用程序发布一串流式的数据到一个或者多个Kafka topic...

Zepplin安装使用一 下载安装包http://zeppelin.apache.org/download.html选择zeppelin-0.8.1-bin-all.tgz二 上传并解压上传到Linuxtar -zvxf zeppelin-0.8.1-bin-all.tgz -C /root进入目录cd /root/zeppelin-0.8.1-bin-all/-------ok...

https://blog.csdn.net/mythest/article/details/86591252

Linux命令练习常用目录opt(用户操作目录) usr(用户文件目录) etc(配置文件) var（存放日志）vi编辑器这里拷贝一份profile文件进行练习测试y数字y 复制一段 然后先移动到目的行粘贴dd 删除光标所在的当前行d数字d 删除：光标后的”数字行“x:删除一个字符 相当于删除delshift + x =X 相当于退格 backs...

查看网段：网卡1：设置连接方式为：仅主机网络访问网卡2：设置连接方式为：网络地址转换进入目录：vi ifcfg-enp0s3 文件这里需要设置的点为：静态ip最后一位任选 1-254保存后 重新激活网卡...

1.jdk2.jdk环境变量3.hadoop4.hadoop环境变量5.hadoop文件修改a.core-site.xml1. Fs.defaultFS = hdfs://192.168.220.129:90002. hadoop.tmp.dir=/usr/local/softwave/hadoop-2.7.3/tmpb.hdfs-site.xml1. Dfs.replicati...

1.安装修改kibana.yml文件中的server.host: “0.0.0.0”指定kibana.yml文件中数据来源为elasticsearch.url: “http://192.168.56.100:9200”2.端口:5601创建index patternManagement>Index Patterns>Create Index Pattern数据探索1.Di...

logstach安装解压 配环境变量#运行 logstach 必须手写conf配置文件logstach作为日志收集工具1.支持多种数据源输入2.支持多种过滤器3.支持多种数据输出目的地实例1：input {file{path =>["/etc/passwd","/var/log/messages"]start_position =>“beginning”si...

centos7下安装配置maven首先在/usr/soft文件夹下新建maven目录mkdir maven我这里使用的是3.5.4的老版本，如果需要新版本可以去官网自行下载，直接在maven文件夹下复制如下命令：wget http://mirror.bit.edu.cn/apache/maven/maven-3/3.5.4/binaries/apache-maven-3.5....

方法一(适用于单机器修改)首先确定mysql服务处于开始状态键入docker exec -it +服务名 /bin/bash 进入控制台键入apt-get update 命令键入apt-get install vim （上述两条命令用于下载vim编辑器），输入vim /etc/mysql/mysql.conf.d/mysqld.cnf 命令 进入mysqld.cnf文件4.使用i打...

查看服务IDdocker ps -adocker start +服务名 打开mysql服务进入docker 控制台docker exec -it 服务名 /bin/bashmysql -uroot -p+密码进入数据库使用SQLyoghttp://www.onlinedown.net/soft/24926.htm激活方式：上面有激活码自行输入配置好IP和数据库密码 即可登录 ...

设置yum数据源yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repoyum install docker-ce #由于repo中默认只开启stable仓库，故这里安装的是最新稳定版17.12.0启动并加入自启动：systemctl start dockersyste...

安装设置数据源：wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-release-el7-5.noarch.rpm包：rpm -ivh mysql-community-release-el7-5.noarch.rpm安装：yum install mysql-serv...

新建分配内存直接上图上盘片：版本：-1611 自行下载启动虚拟机：键盘选择第一个，回车安装中文：不解释密码建议：ok一路ok安装完毕，开始快乐！...

解压包：jdk-8u111-linux-x64.tar操作界面使用MobaXterm配置IP 默认用户名为root获取ip方法：终端输入：ifconfig在/usr目录下新建一个文件夹用于保存我们学习Linux需要的软件在解压jdk文件前，我们需要删除centos预装的jdk环境输入：rpm -qa | grep java 查看包含java的文件与目录删除所有带 ja...