storm
曾牛
成功的三个关键,坚持,坚持,再坚持
展开
-
storm打jar包执行报错问题You're probably bundling the Storm jars with your topology jar.
在storm项目中,打好jar包,到集群环境下运行报错: 原因: 在storm-core包中有defaults.yaml这个文件,因为默认maven打包的scope是compile,所以maven打包后,本地的storm-core包也被打入的jar,由于集群环境中,也存在storm-core包,所以会出现文件defaults.yaml重复的错误。 解决办法: 1、可以在打包后删除该文件...原创 2019-03-19 23:27:33 · 743 阅读 · 0 评论 -
flume+kafka+storm的集成
第一步:启动storm: 1.1启动storm集群 master: python bin/storm nimbus & python bin/storm ui & python bin/storm logviewer & slave: python bin/storm supervisor & ...原创 2019-03-20 09:30:33 · 283 阅读 · 0 评论 -
flume+kafka+storm+中文分词
思想:flume发送,storm接受,调用webpy服务完成中文分词 storm代码: stormKafka.java: package stormHttp; import backtype.storm.Config; import backtype.storm.LocalCluster; import backtype.storm.StormSubmitter; import bac...原创 2019-03-20 10:18:05 · 245 阅读 · 0 评论 -
fume+kafka+storm+hbase的集成代码
1.启动hbase(前提启动了zookeeper和hdfs) 查看进程: 进入hbaseshell终端: 查看hbase状态: 查看表列表: 查询new_music_table数据: scan 'new_music_table' 2.启动kafka: 3.编写storm代码: stormKafka.java: package stormHbase; ...原创 2019-03-20 10:46:07 · 272 阅读 · 0 评论 -
storm报错 You're probably bundling the Storm jars with your topology jar.
java.lang.RuntimeException: Found multiple defaults.yaml resources. You're probably bundling the Storm jars with your topology jar. 执行storm开发的jar包报错 原因:storm-corejar包冲突 解决办法 ...原创 2019-03-20 11:57:45 · 476 阅读 · 0 评论 -
spark-streaming实践代码
实践1:wordcount 1.1本地跑wordcount代码(无状态): package com.badou.streaming import org.apache.spark.SparkConf import org.apache.spark.streaming.{Seconds, StreamingContext} import org.apache.spark.storage.St...原创 2019-03-20 13:36:31 · 419 阅读 · 0 评论