- 博客(6)
- 资源 (31)
- 收藏
- 关注
转载 使用daemontools监控Zookeeper服务
daemontools(http://cr.yp.to/daemontools.html)是一个管理UNIX下服务的工具集。supervise监视一个服务。它启动一个服务、当服务停掉时它会重起服务。Zookeeper在运行过程中,如果出现一些无法处理的异常,会直接退出进程,也就是所谓的快速失败(fail fast)模式。daemontools 能够帮助你监控ZK进程,一旦进程退出后,能够自
2014-05-16 13:43:01 1183 1
转载 hadoop集群配置机架感知
自己搭建的hadoop集群一般默认不具备机架感知能力,为了提高hadoop集群的网络性能,我们常常需要配置机架感知。下面是以下步骤:一、修改配置文件core-site.xml,添加配置属性: topology.script.file.name/home/r203/hadoop-0.20.2/rackaware.py 二、编写自己的脚本rackaware.py:
2014-05-15 13:26:41 1105
转载 HDFS 的Trash回收站功能的配置、使用
文件的删除和恢复 和Linux系统的回收站设计一样,HDFS会为每一个用户创建一个回收站目录:/user/用户名/.Trash/,每一个被用户通过Shell删除的文件/目录,在系统回收站中都一个周期,也就是当系统回收站中的文件/目录在一段时间之后没有被用户回复的话,HDFS就会自动的把这个文件/目录彻底删除,之后,用户就永远也找不回这个文件/目录了。在HDFS内部的具体实现就
2014-05-15 13:26:06 1333
转载 hadoop使用lzo压缩文件笔记 (CDH3u1)
LZO性能 编译LZO下载: http://www.oberhumer.com/opensource/lzo/download/ wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.06.tar.gz 安装:tar -zxf lzo-2.06.
2014-05-06 14:37:51 1401
转载 MapReduce的自制Writable分组输出及组内排序
原创作品,允许转载,转载时请务必以超链接形式标明文章 原始出处 、作者信息和本声明。否则将追究法律责任。http://computerdragon.blog.51cto.com/6235984/1287721问题描述:输入文件格式如下:name1 2name3 4name1 6name1 1name3 3
2014-05-06 14:26:22 808
转载 如何使用Hadoop的MultipleOutputs进行多文件输出
有时候,我们使用Hadoop处理数据时,在Reduce阶段,我们可能想对每一个输出的key进行单独输出一个目录或文件,这样方便数据分析,比如根据某个时间段对日志文件进行时间段归类等等。这时候我们就可以使用MultipleOutputs类,来搞定这件事, 下面,先来看下散仙的测试数据: Java代码 中国;我们 美国;他们 中国;123 中
2014-05-06 14:01:57 1596
Oracle知识库
2012-10-24
Java 优化编程
2012-08-07
Oracle调优心得
2012-08-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人