- 博客(6)
- 收藏
- 关注
RSS订阅原创 Flink
Flink任务提交流程(standalone模式)[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-at8yB6od-1583067034115)(C:\Users\Administrator\Desktop\standalone模式任务提交流程图.png)]App将任务通过REST风格提交给Dispatcher。Dispatcher启动并将任务转发给...
2020-03-01 20:58:53
287
原创 Kafka
KafkaKafa的一些概念消息队列的两种模式：点对点发布订阅点对点模式的特点点对点模式，消费者消费完数据后，消息队列中的数据就被消费者删除了。因此消息队列中的数据只能为一个消费者消费发布订阅模式的两种方式消费者主动拉取消费者需要维护一个长轮询，轮询消息队列中是否有新的消息消息队列推送消息队列需要维护一个订阅者的队列，当有新消息时，向队列中...
2019-12-05 23:05:41
195
原创 Hadoop源码解读(shuffle机制)
Hadoop源码解读(shuffle机制) 这次主要聊一聊hadoop中比较复杂的shuffle机制。同样是通过源代码来一步一步进行解析。首先，shuffle是mapTask运行写出一个key，value键值对后，收集器收集，开始shuffle的工作。所以入口在MapTask的run()方法中的 runNewMapper(job, splitMetaInfo, umbilical, repor...
2019-11-21 21:28:52
323
原创 Hadoop源码解读(切片原理)
Hadoop源码解读(切片原理)在上一篇博客中。主要聊了聊一个hadoop的job在提交后，运行前所做的一些准备工作。主要是：获取Job运行的环境是LocalJobRunner还是YarnRunner。校验输出路径获取Job的工作目录获取当前将要运行的Job的Id拼接上面两个，生成当前Job的工作目录，并创建生成切片信息，返回切片的数量，并将切片信息放入Job工作目录中将当前Jo...
2019-11-21 18:48:10
619
原创 Hadoop源码解读(Job提交)
Hadoop源码解读(Job提交)Job提交入口boolean flag = job.waitForCompletion(true);进入waitForCompletion(true)方法if (state == JobState.DEFINE) { submit();}判断当前的Job状态是否为DEFINE，如果是DEFINE状态就进入submit()方法。...
2019-11-21 16:01:51
252
原创 Hadoop集群的配置
Hadoop完全分布式集群的搭建三个节点的hadoop集群配置虚拟机准备安装JDK和HADOOP，配置环境变量编写集群分发脚本编写查看集群jps信息脚本SSH无密登录设置集群配置群起集群生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导...
2019-11-14 14:08:01
368
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人