hadoop
关注
分享
扫一扫
文章平均质量分 54
justin051
这个作者很懒，什么都没留下…
展开
-
诡异的超长时间GC问题定位
HBase的GC策略采用PawNew+CMS, 这是大众化的配置，ParNew经常会出现停顿时间特别长的情况，有时候甚至长到令人发指的地步，例如请看如下日志：2012-10-17T05:54:54.293+0800: 739594.224: [GC 739606.508: [ParNew: 996800K->110720K(996800K), 178.8826900 secs] 3700...2012-10-19 16:45:29 · 471 阅读 · 0 评论 -
简单HBase笔记
一、Client-side write buffer 客户端缓存请求描述：可以缓存客户端的请求，以此来减少RPC的次数，但是缓存只是被存在一个ArrayList中，所以多线程访问时不安全的。可以使用getWriteBuffer()方法来取得客户端缓存中的数据。 默认关闭。二、Scan的Caching描述： next( )方法请求一行就要使用一次RPC,即使你指定了next...原创 2012-10-26 16:35:14 · 117 阅读 · 0 评论 -
HBase Backup Options
If you are thinking about using HBase you will likely want to understand HBase backup options. I know we did, so let us share what we found. Please let us know what we missed and what you use for HB...原创 2012-08-23 15:24:37 · 144 阅读 · 0 评论 -
hadoop 0.20.203 数据迁移至 cdh3u3
假如用hadoop0.20.203版本，hbase会提示hdfs不支持append特性而可能会导致数据丢失，而且事实上，这种情况在我们系统中已经遇到，在写数据的时候，rs挂掉，数据丢失。 暂时准备把hadoop迁移到cdh3u3上， 因为是不同版本之间的迁移，所以只能用hftp,./hadoop distcp hftp://server1:50070/hbase/test hdfs:/...原创 2012-08-29 08:40:34 · 150 阅读 · 0 评论 -
redis做缓存时的一点优化
最近集群上有个job，其中需要短时间内频繁访问缓存，大概7亿多次。我这边的缓存是使用redis来做的，问题就来了。 首先，redis中存的是普通kv，没有考虑使用hash等解结构，那么以为着这个job需要访问7亿多次redis，导致效率低，且出现很多redis的read timeout exception.我采取的一些办法：1、使用pool来管理连接，并且适...原创 2012-12-13 16:35:17 · 148 阅读 · 0 评论 -
基于stream的mr程序可能出现的异常（不断更新）
运行：Jar_path=/home/ppstat/hadoop/contrib/streaming/hadoop-streaming-0.20.203.0.jarout_put_path=/userstat/cc/checkcd /home/ppstat/hadoopbin/hadoop fs -test -e $out_put_pathif [ $? -eq 0 ];th...原创 2012-09-11 10:02:59 · 133 阅读 · 0 评论