![](https://img-blog.csdnimg.cn/2019091813595558.png?x-oss-process=image/resize,m_fixed,h_224,w_224)
Kafka基础
文章平均质量分 50
Null
Gadaite
这个作者很懒,什么都没留下…
展开
-
kafka+Spark+Hive+Hdfs模拟实时数据接入并汇总输出
目的:模拟数据不断写入,同时不断处理01.启动相关的服务 Hdfs文件系统 Zookeeper服务 Kafka(主题,生产,消费) Hive数仓(元数据库mysql) Spark能够直接sql操作Hive,不然使用jdbc方式(base) [root@192 ~]# jps3200 SecondaryNameNode2835 NameNode5011 ConsoleProducer85045 Jps2998 DataNode4390 QuorumPeerMain45原创 2022-04-01 15:19:54 · 3798 阅读 · 0 评论 -
python实现kafka生产以及sparkstream消费
01.启动zookeeper,启动Kafka,创建Kafka主题,kafka生产者,kafka消费者 详见之前文章:http://t.csdn.cn/JRFRs02.使用python语言,对Kafka进行数据的写入from kafka import KafkaProducerfrom kafka.errors import KafkaErrorproducer = KafkaProducer(bootstrap_servers='192.168.1.10:9092')while True:原创 2022-04-01 10:22:19 · 3073 阅读 · 2 评论 -
KafKa安装配置
Kafka单机模式配置,非集群01.解压安装:(base) root@LAPTOP-P1LA53KS:/mnt/e# tar zxvf kafka_2.11-2.4.0.tgz ^C(base) root@LAPTOP-P1LA53KS:/mnt/e# pwd/mnt/e(base) root@LAPTOP-P1LA53KS:/mnt/e# ls'$RECYCLE.BIN' Scala-2.11.0 conda-env原创 2022-03-31 22:01:27 · 568 阅读 · 0 评论 -
Zookeeper安装配置(单机)
Zookeeper单机模式配置,非集群 对外服务端口:2181 dataDir:/mnt/e/ZookeeperData01.解压安装位置/mnt/e/zookeeper-3.4.1402.配置环境变量,添加内容:#zookeeperexport ZOOKEEPER_HOME=/mnt/e/zookeeper-3.4.14export PATH=$ZOOKEEPER_HOME/bin:$PATH03.复制原有文件,生成一份新的cfg文件:cp zoo_sample.cfg zoo原创 2022-03-31 21:57:21 · 2283 阅读 · 0 评论 -
pyspark结合kafka实现wordcount
I.Kafka的生产消费01.启动Zookeeper(base) [root@192 ~]# cd $ZOOKEEPER_HOME(base) [root@192 zookeeper-3.4.14]# cd bin/(base) [root@192 bin]# lsREADME.txt zkCleanup.sh zkCli.cmd zkCli.sh zkEnv.cmd zkEnv.sh zkServer.cmd zkServer.sh zkTxnLogToolkit.cmd zk原创 2022-03-31 21:47:35 · 1010 阅读 · 0 评论