kafka
lhxsir
Unto a full grown man.
展开
-
SparkSreraming读kafka数据(json复杂格式)
项目简介:源端改造,使用ogg从oracle抽数据到kafka,需要自己写代码解析kafka中ogg数据,数据格式比较复杂,需要二次解析! spark:2.1.0版本 kafka:0.9.0版本 <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming_2.11</artifactId> <versi原创 2020-05-13 16:30:05 · 543 阅读 · 0 评论 -
spark读写数据到kafka
集群环境:CDH5.8.0 / spark1.6.0 / scala2.10.4在使用时,我们需要添加相应的依赖包: <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streaming-kafka_2.10</artifa...原创 2018-03-16 12:41:10 · 5499 阅读 · 0 评论 -
SparkStreaming读kafka写入HDFS(kerberos认证)
SparkStreaming读kafka写入HDFS pom 访问Kerberos环境下的HBase代码 Spark2Streaming应用实时读取Kafka代码 写入数据到kafka代码 SparkStreaming读kafka写入HDFS 本教程基于CDH5.8.0其它组件版本为:spark2.1.0、kafka0.10.2、HDFS2.6.0 pom ...原创 2018-07-16 15:41:30 · 5031 阅读 · 3 评论 -
logstash从kafka读json格式日志输入es
老大让研究ELK,经过几天的摸索,终于把流程跑通了。 版本: kafka 0.10.2.0 logstash 5.3.0 elasticsearch 5.3.0 修改logstash中配置文件 vi logstash.conf input { kafka{ bootstrap_servers => ["10.10.10.10:9092"] group_...原创 2019-07-15 17:44:56 · 5032 阅读 · 0 评论