kafka flume
文章平均质量分 77
flume为什么需要kafka,flume和kafka区别,kafka持久化到hdfs方案,kafka性能瓶颈,flume和kafka应用场景,rabbitmq kafka对比,flume和kafka整合,kafka性能调优
阿啄debugIT
0、精通java,及常用设计模式,熟练编写shell脚本,掌握python、scala、golang的编写;
1、精通Spring Cloud等微服务架构,掌握SpringBoot、batis等后端技术,kafka、redis、es等中间件的整合开发;
2、熟悉掌握mysql、pg等关系数据的原理及调优,及NoSQL数据的存储和查询;
3、熟悉CDH各个组件,及精通离线、实时等计算技术;
4、掌握java多线程高并发编程,及整合shiro、redis、fastdfs、MQ、netty等开发;
5、熟悉K8S集群管理Docker容器,及理解掌握openstack原理和操作。
展开
-
flume,应用,spark,redis等五分钟快照启动脚本
flume,应用,spark,redis等五分钟快照启动脚本,留存此处,以备他用!#vim /usr/local/script/startAll.shecho "正在开启flume"nohup flume-ng agent --conf-file /usr/local/apache-flume-1.7.0-bin/conf/flume-conf-test-1.properties -c...原创 2020-02-03 00:11:14 · 303 阅读 · 0 评论 -
监控flume,应用脚本,及redis的五分钟快照关闭脚本
监控flume,应用脚本,及redis的五分钟快照关闭脚本,留存此处,以备他用#!/bin/bash JAR="org.apache.flume.node.Application"echo "开始stop flume" num=`ps aux|grep flume| awk '{print $2}'` if [ "$num" != "0" ] ; then # 正常停止flu...原创 2020-02-02 04:21:31 · 331 阅读 · 0 评论 -
数据pull模式,多久调用一次,这个时间是通过什么因素来抉择出来的,调用失败了如何补偿,补偿的机制是什么?
前言数据pull模式,多久调用一次,这个时间是通过什么因素来抉择出来的,调用失败了如何补偿,补偿的机制是什么?互联网公司为什么都采用pull模式消息队列的pull与push模式数据pull模式,一听就是问“消息队列的pull与push模式”的认识,为什么单独提数据pull模式?那是因为在互联网公司,面对大吞吐量的消息队列,都是采用pull模式,而非broker push模式。由于采用broker(服务端) push模式,客户端的性能会影响整个消息队列服务器的性能;而且采用broker原创 2021-04-15 20:06:16 · 873 阅读 · 0 评论 -
项目中java连接cdh中的kafka报错java.io.IOException: Can‘t resolve address: node0X:9092的解决方案
问题docker 容器日志报java.io.IOException: Can't resolve address: node04:9092 at java.lang.Thread.run(Thread.java:748) [na:1.8.0_272] Caused by: java.nio.channels.UnresolvedAddressException: null at sun.nio.ch.Net.checkAddress(Net.java:104) ~[na:1.8.0_272原创 2021-02-07 18:48:47 · 1574 阅读 · 2 评论 -
若面试官问“如何设计一个消息中间件”,该如何回答?重点要理解RabbitMQ在于routing,而Kafka在于streaming
前言作为以一个专业技术软件开发人员,又加上软件技术更新速度日新月异,稍不注意,自己用的技术已经过时了,后端前几年还是struts2、hibernate、springmvc……稍不留心现在都是spring的天下了;前端前几年,还是ajax、js、easyui……稍不留心都使用vuejs、angularjs、reactjs……整天趴在电脑前的你,有没有发现,突然去面个试,发现自己这么low有没有……所以作为技术人员,没事,出去面试一下,也是对自己的技术栈的预警哈!可以用面试驱动学习,学习的动力就是面试,原创 2021-02-01 13:39:04 · 592 阅读 · 4 评论 -
搭建高可用kafka与zookeeper集群的填坑之路,及搭建KafkaEagle监控web平台
前言首先确定kafka与zookeeper集群的调优方向调大zookeeper的heap内存 调大zookeeper的heap内存,默认是1G,可以根据服务器大小配置其堆内存为2G或者4G,kafka实时传输的数据如果达到PB级别的话,得观察一下YGC和FGC的值可以适当再次调大。修改kafka的副本数修改kafka的副本数,默认的副本数是1,建议修改为2,如果副本数为2,那么容灾能力就是1,如果副本数3,则容灾能力就是2,当然副本数越多,可能会导致集群的性能下降,但是可靠性更强,各有原创 2020-09-29 13:04:24 · 1681 阅读 · 0 评论 -
详解kafka的broker、producter、consumer三个不同的配置
一 BROKER 的全局配置最为核心的三个配置 broker.id、log.dir、zookeeper.connect 。系统相关## 每一个broker在集群中的唯一标示,要求是正数。#在改变IP地址,不改变broker.id的话不会影响consumersbroker.id = 1## kafka数据的存放地址,多个地址的话#用逗号分割 /tmp/kafka-logs- 1 ,/tmp/kafka-logs- 2log.dirs = /tmp/kafka-logs##提供给客户端原创 2020-09-29 11:05:24 · 875 阅读 · 0 评论 -
Spark Streaming 提供窗口DStream的RDD计算实践
原理解释Spark Streaming 提供窗口计算,允许滑动数据窗口上进行操作RDD。下图是官方图片说明了此滑动窗口。如图所示,每当窗口滑过源DStream时,落在窗口内的源RDD,被组合,并进行操作,以产生窗口DStream的RDD。在这种具体情况下,操作应用于最近3个时间单位的数据,并以2个时间单位滑动。这表明任何窗口操作都需要指定两个参数。(windowLength)窗...原创 2020-02-04 13:27:01 · 419 阅读 · 0 评论 -
SpringBoot2.1.1整合Kafka实现消息生产和消息消费
采用技术springboot2.1.1+mybatisPlus3.0.6+swagger2.5.0+Lombok1.18.4+postgresql+maven等,利用Kafka实现消息生产和消息消费(定时产生消息,通过consumer消费并写入到pg数据库)。搭建kafka服务器1.配置好jdk环境2.下载并解压zookeeper到指定目录,找到解压后目录中conf文件夹中zoo_sam...原创 2020-02-03 04:39:25 · 2911 阅读 · 0 评论 -
flume消费kafka出现的问题及解决方法
一、flume消费kafka的agent数量问题flume消费kafka到本地HDFS时不要使用太多主机和agent进程(一个agent),特别是MLTE_S6A_FS和2G数据的CITY_SHARE_GBIUPS_FS数据量比较小的topic(目前佛山集群使用5个agent进程,总共有15分partition),如果太多agent消费会导致很多小文件。s6a一个小时有20多G,属于比较少的数...原创 2020-02-02 04:14:38 · 2921 阅读 · 0 评论 -
kafka源码分析(二)-clients模块
一、clients模块的目录结构src/main/java/org.apache.kafka目录clients - 生产者、消费者以及其他客户端附属功能common - 公共类server.policy - 策略封装类二、生产者2.1 KafkaProducer2.1.1 继承关系2.1.2 使用方法Properties props = new Pro...原创 2020-01-01 19:34:18 · 507 阅读 · 0 评论 -
kafka源码分析(一)-源码环境搭建
一、软件环境JDK:1.8.0_112Scala:2.10.6Gradle:3.2.1Zookeeper:3.4.5-cdh5.7.1OS:Mac OS X 10.10.5IDE:idea 15二、准备工作2.1 启动ZK服务由于Kafka是依赖ZK的,需要先启动ZK服务。2.2 下载Kafka源代码可以从Apache官网下载Kafka的源码包...原创 2020-01-01 19:23:25 · 409 阅读 · 0 评论 -
Spark streaming消费kafka程序报No output streams registered, so nothing to execute异常
在做kafka割接测试消费程序只消费不做数据处理时编写代码遇到了No output streams registered, so nothing to execute异常的问题:代码如下:public void execute() throws MintakaException { // Create a Spark Configuration final...原创 2019-12-29 12:28:42 · 397 阅读 · 1 评论 -
kafka在开发中积累的经验
一、kafka 的 Java heap space 配置 Kafka :Java heap space 原先配置是512M,先改为2G. 消费的数据量过大时,很容易出现下面的问题。导致消费的数据发送不到本地kafka。二、.远程生产或者消费社区版kafka需要配置:0.9.0.0listeners=PLAINTEXT://0.0.0.0:9092默认的配置是...原创 2019-12-28 01:16:25 · 448 阅读 · 0 评论