- 博客(6)
- 收藏
- 关注
RSS订阅原创 Kafka connect
注：这里的topic 是提前创建好的student-student,也可以不创建，他自己生成，但指定的时候只能去指定前缀。，这里用的mysql 8.0.26 、ojdbc8-23.3.0.23.09,注： 这里窗口会被占用，不想被占用,用 nohup 启动。启动zookeeper 、 kafka 等组件后。切换oracle用户启动oracle。编写mysql-source文件。编写oracle-sink 文件。注：要确保8083端口没被占用。connector驱动类就写。去查oracle 目标表。
2023-12-26 16:51:38
1402
原创 Flink消费Avro格式数据 - java
把生成的pojo 放入项目中，在进行调用时，会调用其内部的一个方法 .getSchema() ，其本质就是 avsc文件里的内容，进行解析，封装成schema。这里的 io.transwarp.de.bean 是生成的bean的路径，要提前想好 bean要放哪，不然改起来很麻烦。上游数据被封装为confluenAvro 格式，使用flink 进行消费，avro 使用版本 1.10.1。使用avro-tool 进行pojo 生成。genericRecord 可看成map。
2023-12-25 19:38:37
543
原创 Mysql的运用
命令：create alter drop创建数据库并进行调整-- 创建数据库-- 创建指定字符集数据库-- 修改某一数据库字符集-- 删除某一数据库use xxxx;-- 使用某一数据库-- 查询正在使用的数据库-- 展示数据库-- 展示创建的某一数据库在sql中函数主要要对数据进行处理。函数可以把经常使用的代码封装起来，需要的时候直接调用即可。这样既提高了编写代码的效率，又提高了可维护性。
2023-08-05 14:28:37
66
1
原创 Kafka的一些问答归纳(更新中)
如果设置成异步，虽然会极大的提高消息发送的性能，但是这样会增加丢失数据的风险。为了提升性能，使用页缓存机制，将消息写入页缓存而非直接持久化至磁盘，采用了异步批量刷盘机制，也就是说，按照一定的消息量和时间间隔去刷盘，刷盘的动作由操作系统来调度的，如果刷盘之前，Broker 宕机了，重启后在页缓存的这部分消息则会丢失。4.进入分区器，对数据进行分区，一个分区会创建一个队列，所有的分区队列都是在内存中创建的，总称双端队列 RecordAccumulator，大小默认为32m。
2023-08-02 20:35:48
144
原创 Hadoop中一些机制的简单问答归纳（更新中）
在mapper.map执行完毕后，将K,V 读取到环形临时缓冲区，此时，会进行快速排序，当缓冲区满足条件时，会发生溢写，根据key 进行分区，将数据写入到文件中。在maptask溢写完毕后，产生若干个文件，在此之后map端会将这些文件进行分区合并，并进行归并排序，如果combiner被调用，则在此时进行，一个分区只产生一个文件。fsimage是文件系统的快照，包含了文件和目录的元数据信息，而edits文件包含了最近的文件系统变更操作（例如，文件的写入、删除等）。实际上不太适用工作场景。
2023-08-02 20:28:28
57
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人