kafka
威震四海
西北玄天一片云,乌鸦落进了凤凰群.........
展开
-
本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置
本地虚拟机redhat7安装kafka教程第二步----kafka的安装与配置因工作需求,要从kafka中读取数据,今天鼓捣了一天,做个记录1、下载Kafka版本 本次下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,来个五选一吧 wget http://mirror.bit.edu.cn/apache/kafka/1.1.0/kafka_2.11-1....原创 2018-04-26 16:19:35 · 2211 阅读 · 0 评论 -
kafka报错:Replication factor: 1 larger than available brokers: 0.
当我使用kafka命令行创建topic并执行分区的时候,得到上面的提示../kafka-topics.sh --create --zookeeper 192.168.1.201:2181 --replication-factor 1 --partitions 20 --topic showurl检查后发现我这里报错的原因是kafka关掉了没有重新启动(zookeeper已经启动)启...原创 2019-07-17 08:43:32 · 798 阅读 · 0 评论 -
Linux环境下部署kafka-manager
虽然目前使用命令也可以实现对kafka队列的监控和查询,但是操作起来甚是麻烦和不便,没有人能完全记下来那些个命令还好有一个工具简单而有效,他就是kafka-manager下面就简单说一下我的实施过程1、下载kafka-manager链接:https://pan.baidu.com/s/1q9oIiZnng0ukoFN5oC8gBQ提取码:ln2r复制这段内容后打开百度网盘手...原创 2019-07-04 14:57:38 · 981 阅读 · 0 评论 -
python如何解决动态的定义变量名,并给其赋值(大数据处理)
最近消费kafka数据到磁盘的时候遇到了这样的问题: 需求:每天大概有1千万条数据,每条数据包含19个字段信息,需要将数据写到服务器磁盘,以第二个字段作为大类建立目录,第7个字段作为小类配合时间戳作为文件名,临时文件后缀tmp,当每个文件的写入条数(可配置,比如100条)达到要求条数时,将后缀tmp改为out。 问题:大类共有30个,小类不计其数而且未知,比如大类为A,小类为a,时间戳...原创 2018-06-06 10:24:47 · 9703 阅读 · 0 评论 -
redhat7下kafka的安装与部署
安装JDK Kafka需要依赖JAVA环境运行。 我这里是redhat7,不需要再安装java环境 下载Kafka版本 本文下载的是kafka_2.10-0.10.1.1.tgz版本,可以使用wget下载,也可以自行下载。 下载地址:http://kafk...转载 2018-04-25 15:19:04 · 2583 阅读 · 0 评论 -
Python脚本消费kafka数据
kafka简介(摘自百度百科)一、简介:详见:https://blog.csdn.net/Beyond_F4/article/details/80310507二、安装详见博客:https://blog.csdn.net/beyond_f4/article/details/80095689 三、按照官网的样例,先跑一个应用1、生产者:from kafka...原创 2018-05-14 15:44:44 · 15630 阅读 · 5 评论 -
kafka简介
kafka简介简介:afka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。 这种动作(网页浏览,搜索和其他用户的行动)是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop的一样的日志数据和离线分析系统,但又要求实时处理的限制,这是一个可行的解决方案。Kafka的目的是通...原创 2018-05-14 15:43:29 · 1903 阅读 · 0 评论 -
python消费kafka关键点---offset
auto_offset_reset介绍我们先看看最新的官方文档说明:What to do when there is no initial offset in Kafka or if the current offset does not exist any more on the server (e.g. because that data has been deleted):earliest:...原创 2018-05-11 15:48:35 · 7707 阅读 · 0 评论 -
本地虚拟机redhat7安装kafka教程第三步----kafka的启动
本地虚拟机redhat7安装kafka教程第三步----kafka的启动当zookeeper和kafka都已经安装、配置完毕以后,就可以启动kafka,进行简单的数据发送和接收了1、启动zookeeper启动命令参考教程第一步:https://blog.csdn.net/beyond_f4/article/details/80095689进入zookeeper的安装目录 # cd /liha...原创 2018-04-26 17:21:21 · 1700 阅读 · 0 评论 -
本地虚拟机redhat7安装kafka教程第一步----zookeeper的安装与配置
本地虚拟机redhat7安装kafka教程第一步----zookeeper的安装与配置 1、下载zookeeper版本; 本次下载的是Zookeeper-3.4.10版本,可以使用wget下载, wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.10/zookeep...原创 2018-04-26 16:42:58 · 2924 阅读 · 0 评论 -
ERROR Shutdown broker because all log dirs in /tmp/kafka-logs have failed
执行了一条删除topic的指令:.\bin\windows\kafka-topics.bat --zookeeper 192.168.1.175:2181 --delete --topic showurl直接导致kafka挂掉,而且重启也失败,爆出下面异常INFO Stopping serving logs in dir /tmp/kafka-logs (kafka.log.LogMan...原创 2019-07-24 17:22:06 · 13476 阅读 · 7 评论