kafka
秉寒-CHO
但行好事,莫问前程
展开
-
kafka flink es hive streaming
1.kafka create topic kafka-topics.sh --create --bootstrap-server 172.19.68.12:9092 --replication-factor 1 --partitions 1 --topic dev-yuqing-topic-test2.kafka producer kafka-console-producer.sh --broker-list 172.19.68.12.9092 --topic dev-yuqing-topic-t.原创 2021-09-09 11:07:57 · 382 阅读 · 0 评论 -
kafka命令
启动:bin/kafka-server-start.sh config/server.properties --nohup创建topic:/bin/katopics.sh --create --zookeeper 172.16.29.231:2181 --replication-factor 1 --partitions 1 --topic topic1kafka查看topic和消息内容命令: /bin/kafka-console-consumer.sh --zookeeper localhost:..原创 2021-08-31 10:46:00 · 143 阅读 · 0 评论 -
flink stream 终于上local 集群 运行起来
先上图 运行界面运行了三个任务第一个是word count第二三个是 数据 producer and consumer ----> 更多代码 可以参考上一篇blog 里面有很详细的介绍 在数据从idea 导出jar 包 已经 运行的过程中遇到两个问题 1,导出时候 因为是单机环境 需要把 kafka 等相关的依赖 一起导出 参考这个blog ,主要是要勾选...原创 2019-01-23 20:18:46 · 420 阅读 · 0 评论 -
python scala kafka 集成一个流程项目 spark
想在windows 下 ,搭建一个spark kafka 的 最简单的实时流计算:python 随机生成0-100 的随机数据,发送给spark 进行统计scala 2.11python 3.5java 1.8kafka_2.11-0.11.0.0.tgzzookeeper-3.4.9.tar.gzspark 2.2step 1 zk 配置 ,启动zk原创 2017-08-19 13:54:05 · 550 阅读 · 0 评论 -
Spark streaming 采用直接读kafka 方法获取数据
package com.xing.streamimport kafka.serializer.StringDecoderimport org.apache.spark.SparkConfimport org.apache.spark.streaming.kafka.KafkaUtilsimport org.apache.spark.streaming.{Seconds, Streamin原创 2016-12-16 21:58:43 · 4451 阅读 · 0 评论 -
Topbeat --Metricbeat 在Windows上设置 centos kafka 打数据 成功
启动powershell PS > cd 'C:\Program Files\Metricbeat'PS C:\Program Files\Metricbeat> .\install-service-metricbeat.ps1C:\Program Files\Metricbeat\metricbeat.ymlPS C:\Program Files\Metr原创 2016-12-14 22:20:05 · 2215 阅读 · 1 评论 -
kafka入门:简介、使用场景、设计原理、主要配置及集群搭建
原文 http://www.aboutyun.com/thread-9341-1-1.html问题导读:1.zookeeper在kafka的作用是什么?2.kafka中几乎不允许对消息进行“随机读写”的原因是什么?3.kafka集群consumer和producer状态信息是如何保存的?4.partitions设计的目的的根本原因是什么?转载 2016-11-24 12:55:15 · 945 阅读 · 0 评论 -
大数据面试题
1.列举spark 比hadoop 快的原 因 ,以及现在存在的主要问题2.描述下使用spark streaming 和 GraphX实现实时计算的可行性,以及可能会遇到的问题3.GraphX的Pregel API 只支持有向图遍历 ,如何实现无xiang 遍历,描述思路4.SPark 通过yarn 提交任务时,yarn-client & yarn-cluster 的区别原创 2016-10-15 13:36:56 · 1073 阅读 · 0 评论 -
Spark Streaming 应用实例
案例介绍与编程实现1. 案例介绍该案例中,我们假设某论坛需要根据用户对站内网页的点击量,停留时间,以及是否点赞,来近实时的计算网页热度,进而动态的更新网站的今日热点模块,把最热话题的链接显示其中。2. 案例分析对于某一个访问论坛的用户,我们需要对他的行为数据做一个抽象,以便于解释网页话题热度的计算过程。首先,我们通过一个向量来定义用户对于某个网页的行为即点击原创 2016-10-10 13:45:03 · 614 阅读 · 2 评论 -
Kafka 集群搭建步骤
Kafka 集群搭建步骤1. 机器准备本文中,我们将准备三台机器搭建 Kafka 集群,IP 地址分别是 192.168.1.1,192.168.1.2,192.168.1.3,并且三台机器网络互通。2. 下载并安装 kafka_2.10-0.8.2.1下载地址: https://kafka.apache.org/downloads.html下载完成后,上传到目标机器中的一个,原创 2016-10-10 12:58:04 · 734 阅读 · 0 评论 -
Kafka 点滴
Kafka 是一个分布式的,高吞吐量,易于扩展地基于主题发布/订阅的消息系统,最早是由 Linkedin 开发,并于 2011 年开源并贡献给 Apache 软件基金会。一般来说,Kafka 有以下几个典型的应用场景: 作为消息队列。由于 Kafka 拥有高吞吐量,并且内置消息主题分区,备份,容错等特性,使得它更适合使用在大规模,高强度的消息数据处理的系统中。 流计算系统的原创 2016-10-10 12:49:13 · 318 阅读 · 0 评论 -
大数据技术之Kafka是什么
大数据技术之Kafka原创 2016-05-03 22:52:52 · 1844 阅读 · 0 评论 -
KafKa常用命令
/software/kafka/kafka-0.9.0.1/bin/kafka-server-start.sh /software/kafka/kafka-0.9.0.1/config/server.properties &/software/kafka/kafka-0.9.0.1/bin/kafka-console-producer.sh --broker-list hadoop1:9092原创 2016-09-17 14:44:47 · 539 阅读 · 0 评论