![](https://img-blog.csdnimg.cn/20201014180756927.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
大数据技术
文章平均质量分 82
hanphy
-
展开
-
Kafka编程实践
Kafka 编程实践搭建了一个Kafka集群之后,看怎么用Java程序编写去利用它。参考Kafka文档(http://kafka.apache.org/documentation/),Kafka可以用在三个场景:Messaging SystemStorage SystemStream Processing我用Java实现了一个“生产者-消费者”的原创 2018-02-02 10:33:16 · 1446 阅读 · 0 评论 -
Zookeeper 分布式手动部署安装
在很多场合下zookeeper是必不可少的,比如hbase环境、kafka等。延续上次的安装套路(详参考hadoop-cdh5 分布式环境手工安装步骤),又手工部署了一下zookeeper。解压:zookeeper-3.4.5-cdh5.3.2环境变量:vi /etc/profile.d/zookeeper.sh#!/bin/bash原创 2018-01-29 23:49:21 · 448 阅读 · 0 评论 -
Kafka集群手动配置
Kafka是一个分布式的、可分区的、可复制的消息系统。它专为分布式高吞吐量系统而设计。与其他消息传递系统相比,Kafka具有更好的吞吐量,内置分区,复制和固有的容错能力,这使得它非常适合大规模消息处理应用程序。在大数据的语境下,Kafka是流式数据处理、集群消息队列的不二之选。 Kafka将消息以topic为单位进行归纳。producers向Kafka的指定topic发布消息,cons原创 2018-01-30 00:10:50 · 1673 阅读 · 0 评论 -
hadoop-cdh5 分布式环境手工安装步骤
用cloudera的CM安装cdh5是一件轻松的事情。但如果有追究本源的习惯,还是喜欢自己折腾一番手工部署。自己部署也可以更好的控制一些环境。比如说,为了可以灵活升级,一般我建议配置文件和执行模块分离,日志分离等等,这些都可以用环境变量来控制。我部署的套路是:运行数据、日志与运行程序配置分离运行程序部署在/opt目录下环境变量放在/etc/p原创 2018-01-19 21:58:00 · 385 阅读 · 0 评论 -
Kafka 单机部署
Kafka可以当作队列使用,这里记录一下单机环境下,简单的部署过程。准备环境下载wget http://mirrors.hust.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz解压到/opt/apache/home/kafka_2.11-1.0.0设置环境变量# Kafka原创 2018-01-30 09:59:22 · 737 阅读 · 0 评论