- 博客(10)
- 资源 (31)
- 收藏
- 关注
转载 storm常见问题解答
最近有朋友给我邮件问一些storm的问题,集中解答在这里。一、我有一个数据文件,或者我有一个系统里面有数据,怎么导入storm做计算?你需要实现一个Spout,Spout负责将数据emit到storm系统里,交给bolts计算。怎么实现spout可以参考官方的kestrel spout实现:https://github.com/nathanmarz/storm-kestrel
2014-03-25 23:28:25 850
转载 使用Thrift API监控Storm集群
Storm UI提供了基本的监控界面,可以查看当前时点集群内脚本的运行情况,其中比较重要的是消息吞吐量(Transferred)和处理延迟(Process latency)。不足的是,这套系统没有记录时序数据,因此想看一段时间内的趋势图,或是做脚本上下线的负载监控,Storm UI就无能为力了。不过,Storm Nimbus开放了一套Thrift API,可以使用他获取各类信息。下面就介绍一下
2014-03-25 21:45:18 2338
转载 Linux给用户添加sudo权限
linux给用户添加sudo权限: 有时候,linux下面运行sudo命令,会提示类似: xxxis not in the sudoers file. This incident will be reported. 这里,xxx是用户名称,然后导致无法执行sudo命令,这时候,如下解决:进入超级用户模式。也就是输入"su -",系统会让你输入超级用户密码,输入密码后就进入了超级用
2014-03-25 21:01:02 696
转载 CentOS 6.4单机环境下安装配置Storm
Storm是一个分布式的、高容错的实时计算系统,在实时性要求比较强的应用场景下,可以用它来处理海量数据。我们尝试着搭建Storm平台,来实现实时计算。下面,我们在CentOS 6.4上安装配置Storm系统。安装配置安装配置过程,按照如下步骤进行:1、安装配置sunjdk下载sunjdk,并安装Java运行环境:1wget htt
2014-03-25 20:53:28 956
原创 linux上编译安装python2.7.5
1. 下载python2.7.5,保存到 /data/qtongmon/softwarehttp://www.python.org/ftp/python/2. 解压文件tar xvf Python-2.7.5.tar.bz23. 创建安装目录mkdir /usr/local/python274. 安装python./configure --prefix=/usr/loc
2014-03-25 20:23:47 1568
转载 Storm配置项详解
Storm配置项详解什么是Storm?Storm是twitter开源的一套实时数据处理框架,基于该框架你可以通过简单的编程来实现对数据流的实时处理变换。Storm的配置文件一般存放在$STORM_HOME/conf下,通常名为storm.yaml,它符合yaml格式要求。配置项详解:以下是从storm的backtype.storm.Config类中搜集的
2014-03-25 10:15:25 687
转载 Zookeeper分布式集群部署
现在开始zookeeper-3.4.5的安装吧!一、官方网站下载zookeeper-3.4.5:http://www.apache.org/dyn/closer.cgi/zookeeper/二、将下载得到的zookeeper-3.4.5.tar.gz放到指定的目录中,自己统一放在了/home/hadoop/platform/下,tar解压缩即可三、设置环境变量:
2014-03-21 12:02:30 676
转载 Storm0.9.0.1升级安装
1,下载0.9.0.1 http://storm.incubator.apache.org/downloads.html2,安装就jdk,python,zookeeper 在服务器 “192.168.1.1″ “192.168.1.1″”192.168.1.2″上3,解压,修改conf下的storm.yamlstorm.zookeeper.servers: –
2014-03-20 21:14:29 822
转载 ZooKeeper编程
杂记ZooKeeper的用途:distributed coordination;maintaining configuration information, naming, providing distributed synchronization, and providing group services.Zookeeper的节点都是存放在内存中的,所以读写速度很快。更新日志被记录到了磁
2014-03-19 09:59:59 513
转载 Java8-本地缓存
本文由 ImportNew - 宋 涛 翻译自 Jooq。欢迎加入Java小组。转载请参见文章末尾的要求。这里我将会给大家演示用ConcurrentHashMap类和lambda表达式实现一个本地缓存。因为Map有一个新的方法可以在key为Null的时候自动计算一个新的value值。非常完美的实现cache。来看下代码:1234
2014-03-17 17:35:01 643
Oracle知识库
2012-10-24
Java 优化编程
2012-08-07
Oracle调优心得
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人