- 博客(20)
- 收藏
- 关注
RSS订阅原创 如何模拟拔盘操作
这个对测试和运维drill run还是很有帮助的 Linux has a nifty way of allowing disk state modification via /sys/ interface. Very useful when debugging LVM mirroring, disk disaster recovery etc.To put a SATA disk...
2012-10-31 15:53:17
1130
安装新版ganglia web UI 笔记。
Ganglia Web 2 (gweb2) 是全新的ganglia php UI。这里，记录安装的一些注意事项。1. 安装peclyum install php-pecl-json.i3862. 安装json phppecl install json3. 安装php-gdyum install php-gd.i3864.下载ganlia-web-2, h...
2011-10-18 15:01:57
203
需要牢记的磁盘公式
[img]http://hbase.iteye.com/upload/picture/pic/100721/f0abca8a-2f87-3e66-8608-2dcb4024977b.jpg[/img]
2011-10-14 17:51:52
350
磨枪：修改你的eclipse配置，加速eclipse
你有没有觉得eclipse的启动和运行很慢，而且时常卡，卡，卡。如果你没有觉得。你真是个耐心的人。这一切都归结于eclipsejvm的配置上。 Eclipse是java写的。Java写的不调整JVM，就是用最保守的参数运行。自然很慢。 Eclipse的配置文件在eclipse安装目录下的eclipse.ini文件里面。 建议将配置修改为 -startup...
2011-10-14 09:44:39
109
HBase跑 map/reduce 须关闭Speculative Execution
什么是Speculative Execution所谓的推测执行，就是当所有task都开始运行之后，Job Tracker会统计所有任务的平均进度，如果某个task所在的task node机器配置比较低或者CPU load很高（原因很多），导致任务执行比总体任务的平均执行要慢，此时Job Tracker会启动一个新的任务（duplicate task），原有任务和新任务哪个先执行完就把另外一...
2011-10-07 23:04:21
113
记zookeeper 扰动导致HBase的一次不可用
HBase运维过程中，最大的问题除了自己一些bug外，就是网络的延迟。这种延迟会导致hadoop的append的timeout，本来只是一个小事，但是会导致HBase因为无法append WAL log 退出。而这次遇到的却是zookeeper的问题。我们的集群里面有3台zookeeper。首先lead（A） 和其中的一台follower B（xx.xx.xx.85）连接出现异常，...
2011-09-29 18:23:09
755
用HBaseAdmin的同学要小心--记一次HBase RegionServer的退出
一大早过来，有RegionServer挂了。查看log，显示[code="java"]2011-09-25 22:31:51,185 [main-SendThread(XXX:2181)] INFO org.apache.zookeeper.ClientCnxn: Unable to read additional data from server sessionid 0x306949...
2011-09-29 15:59:23
1134
python 调用HBase 实例
新来的一个工程师不懂HBase，java不熟，python还行，我建议他那可以考虑用HBase的thrift调用，完成目前的工作。首先，安装thrift下载thrift，这里，我用的是thrift-0.7.0-dev.tar.gz 这个版本[code="java"]tar xzf thrift-0.7.0-dev.tar.gzcd thrift-0.7.0-devsudo ...
2011-09-22 15:17:56
165
Centos6.0 32bit对PAE的支持不好，64G的内存才认了16GB
之前装了Centos 6.0 32bit在PowerEdge R510的牛机上，结果，64GB的内存只认了16GB。不知道大家有没有遇到相同的问题。后来只好降级到centos 5.6 了。 PAE自动识别的。所以，现在centos 6.0还是先别用了。...
2011-09-15 09:40:30
205
java utf8字符 导出csv 文件的乱码问题。
一个同事遇到utf-8 导出到csv文件时出现乱码。上网查了一下，需要一个BOM头。MS的东西就是麻烦。加上头，问题解决。现在把参考代码贴出来，也留个记录。这只是在同事测试代码上面改的。所以写起来比较随意。见谅。[code="java"] private static void writeBcp( ) throws IOException ...
2011-09-15 09:31:17
618
HBase 增量备份和还原工具
HBase自带的export/import机制可以实现Backup Restore功能。而且可以实现增量备份。 下面设增量备份的python脚本 在这个脚本中，每天做增量备份，每个月15日做全备份。[code="java"]import timeimport datetimefrom datetime import dateimport sysimport os...
2011-09-15 09:27:07
172
HBase troubleshooting的一般思路
1. 如何发现问题在我们的集群中，HBase的错误是通过splunk和nagio的报警机制报告的。当service出现异常，如退出，crash，master/regionserver 抛出异常等，管理员都会收到消息。2. 问题跟踪方法在http://hbase.apache.org/book.html#trouble.general中，HBase给出了处理问题的一般思路。1. ...
2011-05-02 22:59:24
104
原创 比较全的hadoop分析，备用
Hadoop 源代码分析（1）overviewhttp://caibinbupt.javaeye.com/blog/262412Hadoop 源代码分析（2）packagehttp://caibinbupt.javaeye.com/blog/270378Hadoop 源代码分析（3）org.apache.hadoop.iohttp://caibinbupt.javaey...
2011-04-29 15:50:16
154
看日志常使用到的脚本
为我们的爬虫程序写了个adapter。可是发现adapter存下来的东西比测试脚本dump的文件要少，甚至少了好几G。之前的测试上看来，不应该有这样的问题。看了日志，发现后来由于加了断点续传，好多URL只down下来一部分。由于adapter只会将完全download下来的文件存下来。那些断点续传的部分结果，会被dump出来，但是不会被adapter存储。为了证明这一点，我需要在茫茫日...
2011-04-20 23:20:07
123
抛掉那些该死的边界条件-- 我看云端后台产品的测试
今天看了一篇博文，烧掉十亿美元的捷径：忽略用户体验（沃尔玛案例研究）http://www.36kr.com/ignore-ux-to-lose-a-bn/，很有启发。 其实我们现在很多的工作和沃尔玛有类似之处。 有些QA完全将终端的那些测试方法，放到云端的测试case，很容易就远离客户需求，设计出一些完全不现实的case出来。这些，都要拜一些软件测试教科书所赐。作为后...
2011-04-18 22:56:34
242
原创 Region Server意外退出之后...
早晨上班好好的，突然nagios报出一台regionserver挂了。顿时忙碌起来。上去一看，从log中看到这样一条信息2011-04-08 04:02:22,083 ERROR org.apache.hadoop.hbase.regionserver.HRegionServer: ZooKeeper session expired之后， regionserver就理直气壮地...
2011-04-13 22:53:11
201
Git 实战
1.登录GitHub账号，将HBase tm-5的版本做一份forkFork后，就相当于从原来的版本中copy一份，之后，就可以在上面做任何的改动而不影响他人了。2. 配置GitHub这里，需要将本地机器的ssh public key设置到GitHub的用户中。详细请看http://help.github.com/msysgit-key-setup/3....
2011-04-13 22:51:53
70
Git 入门
1.安装Centos：# yum install git# yum install gitk# yum install git-guiUbuntu :# apt-get install git git-core2.为什么用git1) 轻量级本地branchgit 最强大的地方。你可以创建、merge、删除一个branch在几秒时间内。所以...
2011-04-13 22:49:50
76
利用Splunk收集HBase集群日志
什么是splunkSplunk是日志界的google。支持任何服务器产生的日志，其对日志进行处理的方式是进行高效索引之后让管理员可以对日志中出现的各种情况进行搜索，并且通过非常好的图形化的方式展现出来。让管理员彻底从繁琐的ssh，grep中解放出来。我们可以通过配置splunk，收集cluster内的HBase/Hadoop以及一切由log4j生成的日志。1. 安装spl...
2011-04-13 22:48:16
113
[翻译]HBase 架构101 –预写日志系统 (WAL)
什么是预写日志WAL? 之前的文章我们简单介绍了HBase的存储结构。其中提到了预写日志。这里，我们要介绍它的实现细节，所有的描述都基于HBase 0.20.3.WAL最重要的作用是灾难恢复。和MySQL 的BIN log类似，它记录所有的数据改动。一旦服务器崩溃，通过重放log，我们可以恢复崩溃之前的数据。这也意味如果写入WAL失败，整个操作将认为失败。我们先看看HBase...
2011-04-13 22:45:41
183
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人