流式分布式系统Storm安装与部署

        主要参考的网站资源:
http://my.oschina.net/leejun2005/blog/147607(一篇对照一个例子讲storm原理和应用的不错文章)
http://www.cnblogs.com/XjChenny/p/3214039.html(非常完整的storm安装教程,我主要是参照这篇文章安装的,缺点是文中几乎没有提到遇到的问题,需要自己去查找解决问题的办法)
http://javanlu.github.io/blog/2013/10/11/storm-deploy-tutorial/#storm-starterwordcount(一个github上的博客,有非常全面的storm使用经验指导。)

         经过一周多的努力,我的storm安装折腾之路终于在这个寒冷的周五结束了,觉得一定要写下来,一则为了即将开始的Storm集群部署保留一手资料,二来也为了给更多没接触过但需要使用Storm的同学提供点指导。网上虽然有很多关于storm的安装教程,但我觉得有两个方面的不足,一是作者默认你已经有了不错的linux,分布式架构,github开源项目的经验,所以有些地方点到即止,让新手好不恼火。另一方面,很少提到遇到的问题,但是,相信我,安装不是困难的,难的是你即将遇到一些你百思不得其解的问题,对于新手来说同样是极其影响心情和士气的,幸好有立鑫学长的倾情指导,为我解决了一个个难题,鞠躬。

         这篇文章写的有点罗嗦,但是为了尽量把我在安装过程中遇到的困难都描述清楚,为你提供比较详细的参考,我觉得这正是我这篇文章比其它的教程要好的地方,如果你是一个完全没有接触过storm的新手,那相信我,这是我目前见过最好的教程微笑

        另外,注意一下,这个教程描述的是单机版的storm,集群版我后面再写,两者配置是不一样的。

        话不多说,开始吧。

一 , 准备工作

     我的机器是Ubuntu 12.04,虽然storm可以在windows下部署,但是我不建议你么做,我同样建议你安装一个全新的系统,以防止各种各种别的问题。

  1.1  安装JDK6

        Storm需要JVM的支持,我选择的是Java 1.6。原则上是可以安装JDK7的,但是我开始装的是JDK7,最后编译的工程总是出问题,在网上有种说法是,linux很多应用程序不支持JDK7,我将信将疑的把JDK7卸载了之后重新装成JDK6,确实问题修复了。虽然到现在我还是不大相信是JDK7造成的问题,不过我还是建议你安装JDK6,安装步骤可以参见我另外一篇文章:

http://blog.csdn.net/yumik0/article/details/20074537

        1.2    安装eclipse

         接下来是安装eclipse,storm的Topology需要被打成jar包上传,可以使用lein,maven等,不过我建议使用eclipse,因为这个大家可能更熟悉一点,最后我也会以eclipse为例子演示怎么制作storm的jar包。

        (1)下载安装包

         网址是:http://www.eclipse.org/downloads/

         注意根据机器的位数下载不同版本。

         我下载的是:eclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz

         (2)如果你的系统是刚装的,那么在根目录下创建opt文件夹:

                                                                  sudo mkdir   /opt

         (3)将eclipse的安装包拷贝到/opt下:

                                                                  sudo  cpeclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz  /opt

         (4)解压安装:

                                                                   cd /opt
                                                                   tar -zvxf eclipse-standard-kepler-SR1-linux-gtk-x86_64.tar.gz

          (5)测试是否成功:

                   进入opt/eclipse文件夹下,打开eclipse,第一次登陆还是要设置workspace,跟windows一样,编写一个helloworld程序试试就知道了,一般是没有问题的。

 二 ,安装zookeeper

          (1)下载安装包

          同学们可以到官网上去下载:http://zookeeper.apache.org/releases.html

          我使用的是目前最新的版本:zookeeper-3.4.5。

          安装非常简单,解压即可:

                                                                     cd /home/bupt/installpack             我存放安装包的地方

                                                                    tar -zvxfzookeeper-3.4.5.tar.gz

          (2)设置环境变量:

                                                                     

                                        sudo vim /etc/profile        

       

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值