![](https://img-blog.csdnimg.cn/20201014180756754.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
storm&spark
huanggang028
每一天,努力让梦想更近一些
展开
-
Storm安装记录
首先,在官网上下载安装包,本文采用的是apache-storm-0.9.5.zip。放到指定机器上/usr/local解压后编辑配置文件conf/storm.yaml:然后修改环境变量:export STORM_HOME=/usr/local/apache-storm-0.9.5export PATH=$STORM_HOME/bin:$PATH然后需要把zookeep原创 2015-07-01 15:47:18 · 550 阅读 · 0 评论 -
结合Ansible技术监控Storm集群
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://sofar.blog.51cto.com/353572/15798971、我的hosts配置# vim /etc/hosts1234567891011转载 2015-07-06 15:00:12 · 1036 阅读 · 0 评论 -
实时计算平台设计
设计目标 传统的离线计算会存在数据反馈不及时,很难保证很多急需实时数据做决策的场景。同时,如果各个业务方自己既负责开发实现各种实时计算程序,同时还需要维护一套实时计算软件环境,不仅效率低效,对公司的开发资源、硬件资源也是极大的浪费。所以为公司提供统一的实时计算平台,提升业务团队开发效率,满足公司各种精细化运营、监控等的要求,我们近期启动**实时计算平台的建设工作。原创 2017-03-18 09:03:37 · 7526 阅读 · 0 评论 -
配置社区版spark运行在cdh yarn
1、下载社区版本spark编译包,一般选择和cdh版本含的hadoop版本一致的社区编译版spark;2、在某台服务器上解压spark安装包3、将SPARK_HOME环境变量加入/etc/profile,然后执行 source /etc/profile使其生效;4、删除软连接 /etc/alternatives/spark-submit, /etc/alternatives原创 2017-03-15 16:16:52 · 4335 阅读 · 0 评论