kafka
魂落忘川犹在川
无端坠入红尘梦,惹却三千烦恼丝。
展开
-
Redis基本操作
Redis基本操作查看服务ps -ef | grep redis开启服务./redis-server redis.conf进客户端./redis-cli -h 192.168.147.133 -p 6379 -a 123 --raw-h 为主机名-p端口号-a密码–raw 中文正常显示cli 内设密码 临时设置config set requirepass 123永久...原创 2018-11-18 21:34:51 · 95 阅读 · 0 评论 -
kafka实现wordcount并实现累加操作
先在kafka输入下列命令充当生产者 ./bin/kafka-console-producer.sh --broker-list 192.168.147.133:9092,192.168.147.134:9092,192.168.147.135:9092 --topic test034下列代码当消费者package day14import org.apache.spark.stre...原创 2018-11-17 20:50:03 · 504 阅读 · 0 评论 -
利用zookeeper和kafaka自带脚本一键启动集群脚本(高手进阶篇)
先来设置一下zookeeper先随便起个脚本名,脚本放在/usr/local/bin/下面这里以3台机器为例启动zookeeper集群#!/bin/bashssh hadoop01 "/home/hadoop/install/zookeeper-3.4.5/bin/zkServer.sh start"ssh hadoop02 "/home/hadoop/install/zookee...原创 2018-11-30 21:59:18 · 694 阅读 · 0 评论 -
解决官方的kafka关闭命令脚本不起作用的问题
在kafka进程存在的情况下执行官方的命令会出现的提示,但是kafka并没有关闭No kafka server to stop修改 bin 下的 kafka-server-stop.sh 文件PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)修改为:PIDS=$(jps...原创 2018-11-30 22:45:58 · 3502 阅读 · 5 评论 -
简单实现kafka数据写入hbase
测试数据格式19392963501,17816115082,2018-09-18 16:19:44,143119392963501,17816115082,2018-09-18 16:19:44,143114081946321,13094566759,2018-05-23 09:34:27,061013415701165,18939575060,2018-11-23 21:33:23,1...原创 2018-12-07 21:50:45 · 3555 阅读 · 0 评论 -
flume实现监控文件,并将文件内容传入kafka的,kafka在控制台实现消费
等flume监控端口写完在写原创 2018-12-08 17:44:04 · 1110 阅读 · 0 评论 -
python连接kafka并消费数据
连接kafka服务端查看topic在idea里导入模块pykafka编写代码# 导入安装包from pykafka import KafkaClient# 设置客户端的连接信息client = KafkaClient(hosts="hadoop01:9092,hadoop02:9092,hadoop03:9092")# 打印所有的topicprint(client.topics)...原创 2019-01-19 21:24:21 · 5030 阅读 · 0 评论