搭建otter水獭-Canal访问数据库权限问题

异常信息

pid:1 nid:1 exception:canal:test_canal:com.alibaba.otter.canal.parse.exception.CanalParseException: command : 'show master status' has an error! pls check. you need (at least one of) the SUPER,REPLICATION CLIENT privilege(s) for this operation

解决

创建用户
mysql> CREATE USER canal IDENTIFIED BY 'MYPASSSWORD'; 
开启操作权限
mysql> GRANT SELECT, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'canal'@'%';  
mysql> FLUSH PRIVILEGES;

如果用户无GRANT权限,参考:https://blog.csdn.net/weixin_43165534/article/details/106427819

修改服务端配置
vi /etc/my.cnf

追加配置信息

...

log-bin=mysql-bin
binlog-format=ROW
server_id=1
重启mysql
service mysqld restart
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
对于部署 Otter-Server,可以使用 Docker 镜像进行部署。具体步骤如下: 1. 下载 Otter-Server 的 Docker 镜像: ``` docker pull alibaba/otter ``` 2. 创建并启动容器: ``` docker run -d --name otter-server -p 8080:8080 -p 1099:1099 -p 2088:2088 \ -e JAVA_OPTS="-Dfile.encoding=UTF-8 -server -Xmx2g -Xms2g -Xmn512m -Xss256k -XX:+HeapDumpOnOutOfMemoryError -XX:HeapDumpPath=/data/heapdump" \ -v /yourpath/otter/data:/data -v /yourpath/otter/logs:/logs \ alibaba/otter ``` 其中,`/yourpath/otter/data` 和 `/yourpath/otter/logs` 是宿主机器上存储 Otter-Server 数据和日志的路径,可以自行修改。 3. 进入容器内部: ``` docker exec -it otter-server /bin/bash ``` 4. 修改 Otter-Server 配置文件: Otter-Server 的配置文件位于 `/data/otter/conf/otter.properties`,可以使用 `vi` 命令进行编辑。 在配置文件中,需要添加以下配置: ``` otter.amqp.addresses=amqp://guest:guest@<your-rabbitmq-host>:5672 otter.clickhouse.addresses=<your-clickhouse-host>:8123 ``` 其中,`<your-rabbitmq-host>` 和 `<your-clickhouse-host>` 分别为 RabbitMQ 和 ClickHouse 的地址。 5. 重启 Otter-Server: ``` /data/otter/bin/stop.sh /data/otter/bin/startup.sh ``` 至此,Otter-Server 的部署完成。 关于消费 RabbitMQ 并写入 ClickHouse 的问题,需要在 Otter-Server 中配置 Canal,具体步骤如下: 1. 在 Otter-Server 配置文件中添加 Canal 配置: ``` otter.canal.zookeeper.cluster=<your-zookeeper-host>:2181 ``` 其中,`<your-zookeeper-host>` 为 ZooKeeper 的地址。 2. 在 Otter-Server 中创建 Canal 实例: 使用 `otter-admin` 工具创建 Canal 实例,具体命令如下: ``` cd /data/otter/otter-admin/bin ./otter.sh create --type canal --mode memory --zoohost <your-zookeeper-host>:2181 --canalId <your-canal-id> --destination <your-destination> ``` 其中,`<your-canal-id>` 和 `<your-destination>` 分别为 Canal 实例的 ID 和名称。 3. 在 Otter-Server 中配置 Canal 映射关系: 使用 `otter-admin` 工具配置 Canal 映射关系,具体命令如下: ``` cd /data/otter/otter-admin/bin ./otter.sh canal --c <your-canal-id> --s <your-rabbitmq-exchange> --d <your-clickhouse-table> --m <your-field-mapping> ``` 其中,`<your-rabbitmq-exchange>` 和 `<your-clickhouse-table>` 分别为 RabbitMQ 的 Exchange 和 ClickHouse 的表名,`<your-field-mapping>` 为字段映射配置。 至此,Otter-Server 就可以消费 RabbitMQ 并将数据写入 ClickHouse 中了。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值