kafka
小米吃辣椒2022
本人毕业于湖北工业大学,目前已有7年的工作经验,先后涉猎于电商,农业大数据,智慧停车,城市智慧大脑,公安指挥调度,海康云商电商平台,智慧物流等软件开发行业,目前就职于稳健医疗java全栈工程师岗位,负责智慧物流产品百台服务器核心架构设计及研发工作,对多线程,高并发,架构设计,应用虚拟容器,微服务,数据库中间件,消息中间件以及大数据生态圈,web前端技术有丰富的认知和开发经验。
展开
-
大数据之 kafka 入门
一、zookeeper 下载 安装 cdh 版本的 zookeeper 下载地址 http://archive.cloudera.com/cdh5/cdh/5/zookeeper-3.4.5-cdh5.7.0.tar.gz 解压 tar -zxvf zookeeper-3.4.5-cdh5.7.0.tar.gz 配置环境变量 export ZK_HOME=/home/hadoop/app/...原创 2018-12-27 11:10:38 · 1072 阅读 · 0 评论 -
spark streaming 整合 kafka 两种 Receiver-based 和 Direct Approach
一、Receiver 方式整合 spark streaming 和 kafka 启动zookeeper zkServer.sh start 启动kafka : kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 创建topic: kafka-topics.sh --create --zooke...原创 2019-01-03 17:33:17 · 1136 阅读 · 0 评论 -
spark streaming 整合flume ,kafka 打造通用流处理
一、编写LoggerGenerator.java文件用于生成日志信息 添加依赖 <dependency> <groupId>org.apache.flume.flume-ng-clients</groupId> <artifactId>flume-ng-log4jappender&...原创 2019-01-14 21:25:38 · 1343 阅读 · 0 评论