
storm
大数据之storm
赶路人儿
一个十年以上编程人员,擅长使用java、python、C++等语言,具有广告投放、个性化推荐引擎等超大规模系统开发经验。
展开
-
Storm 0.10.0新特性整理一览
1、安全性和多用户调度部署和早期的Hadoop相似,Storm被假设会部署到远离安全威胁的环境中,所以一开始并没有太多的考虑安全性问题。虽然大量用户对Storm都制定了他们自己的安全举措(通常实在防火墙/系统层次),然而这依旧阻碍了许多企业使用Storm。Yahoo!部署并持有世界上最大的Storm集群之一,他们的技术团队很早就意识到安全性的需要,所以Yahoo!采取了很多措施来保原创 2017-11-23 17:01:04 · 1631 阅读 · 0 评论 -
Storm 0.9.3的新特性
Storm 0.9.3的版本修改了100个Bug,改进了与Kafka的集成,并增加了与HDFS和HBase的集成。改进了与Kafka的集成Apache Storm从0.9.2-incubating版本开始支持Kafka作为流数据的数据源。0.9.3的版本在此基础上进行了几项改进,包括向一个或多个Kafka集群或topic写入数据。Storm现在既可以将Kafka作为流数据的数据源,转载 2017-11-23 16:28:49 · 488 阅读 · 0 评论 -
storm——本地eclipse上调试wordcount程序
通常,对于hadoop或者storm这种任务类型的程序,我们都希望能够在本地进行一次调试,然后再提交到集群上跑任务。storm和hadoop类似,有本地模式和集群模式。相比hadoop而言,storm的本地模式更加简单,不需要在本地(windows环境)安装任何storm的软件或者工具等(什么都不需要额外安装,只需要maven引入storm的jar即可)。本文就是如何在windows上调试原创 2017-09-19 22:33:03 · 2377 阅读 · 0 评论 -
storm集群部署
1、安装部署zookeeper集群:详情见:http://blog.csdn.net/liuxiao723846/article/details/78035189假设zookeeper集群安装到了centos1、centos2、centos3 这三台服务器上。2、安装storm:0.9之前的Storm版本需要单独安装ZeroMQ和JZMQ,0.9之后的版本不需要安装。我们安装的是0原创 2017-09-19 22:07:13 · 526 阅读 · 0 评论