- 博客(2)
- 收藏
- 关注
原创 Yarn 资源调度器解析
Yarn 资源调度器解析篇 Yarn资源调度器简介 资源调度器是Yarn中最核心的组件之一,他是ResourceManager中的一个可插拔的服务组件,负责整个集群的管理和分配; 目前Yarn中的作业类型: 1.批处理作业,这种作业比较耗时,对时间的完成没有严格要求,如数据挖掘和机器学习等; 2.交互式作业,这种作业一半希望能够及时的返回结果,例如:hive的sql查询; 3.生产性作业:这种...
2018-11-06 16:23:42 443
原创 Kafka之Producer篇
Kafka之Producer篇 Kafka生产者案例 本篇我们叙述Kafka是如何将数据发送到服务端的; 首先我们来看下案例,如下代码所示,这是一个简单的将消息发送到服务端的例子,首先配置链接Kafka的参数,然后用生成的配置生成一个KafkaProducer,这个就是kafka的生产者,紧接着生成一个ProducerRecord用于封装要发送的消息,最终调用producer.send(rec...
2018-11-06 16:21:52 420
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人