![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据
文章平均质量分 64
Shannon076
这个作者很懒,什么都没留下…
展开
-
Kafka中的一些基本概念
Kafka类似于传统的消息系统,但是又不同于消息系统,因为它不仅具有传统消息系统的消息传递的功能,而且它还具备流失处理能力。消息Kafka中的数据单元被称为消息。相当于数据库中的“行”。消息由字节数组组成消息有一个可选的元数据,称为“键”消息是存在一个称为“主题”的地方的,主题就相当与数据库中的表,一个主题分成了很多个“分区”,具体的,消息就是被存到了某一主题的一个分区上为...原创 2018-07-26 16:52:15 · 457 阅读 · 0 评论 -
Kafka生产者示例以及常用参数的解释
本文主要讲解如何使用Kafka的API开发Kafka的生产者程序。简单的说明如下: Kafka版本:1.1.1 一些常见的类或接口说明: java.util.Properties:该类是一个Hashtable的子类,用来维护Kafka生产者的配置信息 org.apache.kafka.clients.producer.ProducerConfig:Kafk...原创 2018-07-28 12:16:22 · 4572 阅读 · 0 评论 -
Hive to Redis
开发机环境准备Hive库sudo apt-get install libsasl2-devsudo pip install pyhive[hive]Redis库pip install redis线下Redis环境的部署(用于测试)sudo apt-get install redis-servercd /usr/bin/./redis-server...原创 2018-08-23 21:31:26 · 3333 阅读 · 0 评论