- 博客(6)
- 收藏
- 关注
RSS订阅原创 kafka 0.10.0.1 consumer源码解析
消费者源码解析，基于0.10.0.1版本 初始化 consumer 对象 // 主要初始化的几个组件：new几个对象，NetworkClient、ConsumerCoordinator、Fetcher new KafkaConsumer<String, String>(properties); 拉取数据 ConsumerRecords<String, String> records = kafkaConsumer.poll(5000); // 核心方法： org.a
2022-01-03 16:28:40
1160
原创 kafka消费者groupcoordinator原理
什么是coordinator 每个consumer group都会选择一个 broker 作为自己的coordinator 它是负责监控这个消费者组里的各个消费者的心跳，以及判断是否消费者宕机了 如果其中一个消费者判断为宕机，会进行rebalance 消费者组如何选择coordinator机器 1. 确定由 __consumer_offsets 位移主题的哪个分区来保存该 Group 数据：partitionId=Math.abs(groupId.hashCode() % offsetsTopicPart
2022-01-03 16:23:19
1570
原创 Antlr4实现四则运算
1、IDEA安装Antlr4插件 2、添加Antlr依赖 <dependencies> <!-- antlr运行依赖 --> <dependency> <groupId>org.antlr</groupId> <artifactId>antlr4-runtime</artifactId> <version>4.9.1</version>
2021-09-25 16:28:55
653
原创 Spark BroadCastJoin时，基表不能被广播的原因
Spark BroadCastJoin时，基表不能被广播的原因 相信很多朋友在看Spark的各种join的文章时，总会看到Spark BroadCastJoin时，基表不能被广播。 比如 left outer join 时，只能广播右表。但是都没写什么原因，以下是我个人猜测的原因 假设有A和B表，数据如下： 查询sql为： select A.name,B.age from A left join B on A.name = B.name 结果应该为： 假设broadcast join广播的不是右表而是左
2021-01-16 17:30:01
1150
1
原创 飞桨PaddlePaddle深度学习集训营CV学习心得
之前学习过吴恩达老师的深度学习的视频，但是比较少代码的实践，而且很多理论知识理解不到位。通过这次集训营的学习，增强了实战能力，对很多知识也理解更深刻，也学会多了一个深度学习框架飞桨的基本使用。 一、主要学习内容及学习到的技术： 1、首先会教不用框架只用python来实现一个房价预测的案例 这个案例对一些概念如：前向计算、反向计算、损失函数、梯度下降的理解特别有用，以下是一部分关键代码， 主要包括前...
2020-02-29 14:24:49
660
原创 Spark查询多字符分隔符hive表时遇到的问题
Spark查询多分隔符hive表时遇到的问题 首先肯定要引入创建多分隔符hive表时的jar包，hive-contrib-3.1.0.3.0.0.0-1634.jar 然而使用spark-shell --jars xxx/hive-contrib-3.1.0.3.0.0.0-1634.jar引入jar包后查询多分隔符hive表时仍然提示classnotfound异常，提示类找不到，在命令行界面试下...
2019-11-07 15:35:56
1296
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人