Kafka
文章平均质量分 96
贫僧洗头爱飘柔
这个作者很懒,什么都没留下…
展开
-
流式计算--Kafka详解
理解storm、spark streamming等流式计算的数据来源、理解JMS规范、理解Kafka核心组件、掌握Kakfa生产者API、掌握Kafka消费者API。对流式计算的生态环境有深入的了解,具备流式计算项目架构的能力。所以学习kafka要掌握以下几点:1、 kafka是什么?2、 JMS规范是什么?3、 为什么需要消息队列?4、 Kafka核心组件5...原创 2018-03-24 16:08:02 · 14781 阅读 · 1 评论 -
Kafka环境搭建
0. Kafka源码包下载http://mirror.bit.edu.cn/apache/kafka/1. 集群环境Master 172.16.11.97Slave1 172.16.11.98Slave2 172.16.11.992. 下载软件包#Masterwget http://mirror.bit.edu.cn/apache/kafka/0.10.2.1/kafka_2.11-0.10.2....原创 2018-04-28 10:26:43 · 340 阅读 · 0 评论 -
大数据面试、笔试题收集
给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url?题目描述:给定a、b两个文件,各存放50亿个url,每个url各占用64字节,内存限制是4G,如何找出a、b文件共同的url? 分析:我们先来看如果要把这些URL全部加载到内存中,需要多大的空间。1MB = 2^20 = 10^6 = 100W1GB = 2^30 = 10^9 =...原创 2018-05-14 22:29:41 · 945 阅读 · 0 评论 -
spark streamming + kafka + Redis 实践
java操作Redis:http://blog.csdn.net/xyang81/article/details/51918129数据order.txtA 202.106.196.115 手机 iPhone8 8000B 202.106.0.20 服装 布莱奥尼西服 199C 202.102.152.3 家具 婴儿床 2000D 202.96.96.68 家电 电饭锅 1000F...原创 2018-07-18 20:48:59 · 1243 阅读 · 0 评论