dajuezhao-CSDN博客

转载 JVM启动参数大全

java启动参数共分为三类；其一是标准参数（-），所有的JVM实现都必须实现这些参数的功能，而且向后兼容；其二是非标准参数（-X），默认jvm实现这些参数的功能，但是并不保证所有jvm实现都满足，且不保证向后兼容；其三是非Stable参数（-XX），此类参数各个jvm实现会有所不同，将来可能会随时取消，需要慎重使用；本文主要描述标准参数部分，剩下的两个部分将会陆续推出；标准参数

2012-01-13 13:54:24 18334

转载修复hbase region hole问题流程

修复hbase region hole问题流程1，查询资料用hbase org.jruby.Main check_meta.rb --fix和 hbase hbck -fix会造成数据丢失，考虑其他办法，首先考虑用major_compact对该表进行更新看是否会检测到问题并修复，major_compact完成之后未成功 2，重新起动hbase集群，是否会进行闭环检测？未成

2012-01-01 15:51:55 12668 1

转载关于Memstore的大小设置一点经验

Hbase的Memstore固化为Hfile的主要触发条件为三个： 1、Hlog的存储文件数目达到上限32（默认配置），一个Hlog的大小默认配置为HDFS的block的95%，这样的话，假定HDFS的块大小为64M，32个文件的话，可以存储的数据量为2G左右。如果当Hlo

2011-10-19 11:31:03 14285 1

转载 HBase性能调优

这里有一些关于性能调优参数的总结和说明，其中有一些自己的经验以及参数书籍《HBase The definitive Guide》：第一章：GC的相关参数配置 1.swap的设置: 我们需要关闭操作系统的swap或是设置swappiness为0，推荐设置为0，这样只有

2011-10-19 11:21:45 18501

转载 JVM垃圾回收

在jvm中堆空间划分为三个代：年轻代（Young Generation）、年老代（Old Generation）和永久代（Permanent Generation）。年轻代和年老代是存储动态产生的对象。永久带主要是存储的是java的类信息，包括解析得到的方法、属性、字段等等。永久

2011-10-18 15:22:16 6620

转载 hbase中服务器时间不同步造成的regionserver启动失败

今天配置hbase的时候发现有几台机器的regionserver启不来。报错如下： at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method) at s

2011-10-17 16:02:16 9712

转载 hbase+hadoop运维的一点经验

目前系统上线，不断的有新问题，也不断的在总结一些经验，发在这里，做下mark，同时也为hbase使用者提供一些思路吧。1、单条rowkey下虽然能支持百万列，但是建议不要这么做，因为真正一个rowkey下挂了这么多数据时会在两个地方出现问题，一是查询时单行记录数据量过大，cl

2011-10-17 15:59:32 8410 1

原创在多硬盘情况下的Hadoop配置注意项

一、背景1、最近在做hadoop的性能测试，采用了自带的Terasort的方式，但是在运行的过程中发现如果数据量过大，对硬盘I/O需求不小（通过Ganglia监控发现），因此，打算找找看是否有合适的配置来解决这样一类的问题，所以才有了这篇记录的文档。2、在做修改之前，当然

2011-09-21 14:04:34 18642 1

原创 HBase的一点纪要

1. 数据rowkey散列方便入库速度提升2. 一般内存至少配置32G、8核CPU、硬盘不做Raid，系统盘和存储盘分开3. 10台节点入库一个列族的表request数量应该在20W左右4. Bulk Load增

2011-08-04 09:41:46 8549 2

原创通过Hadoop的API管理Job

一、背景前些时候写了一篇这样的文档，由于当时的时间比较紧，且有些细节内容不太好细说，于是写的比较粗。之后也有些朋友发邮件给我，问我要详细的过程以及管理方式。于是，今天就像把这个内容细化，写在这里，供大家参考。二、环境简述Ø 操作系统Linux、JDK1.6Ø Hadoop 0

2011-07-07 18:01:38 18905 10

原创 Hadoop集群的配置调优

一、背景Hadoop的集群使用也有些时候了，不过都是小集群的使用（数量小于30台）。在这个过程中不断的进行着配置调优的操作。最早的时候，在网上也没有找到一些合适的配置调优方法，于是，我在这里列举一些基本的调优配置，以供参考。最后，还有一个我自己的测试环境的配置说明，也可以参看一下

2011-07-07 17:53:53 31550 2

转载使hadoop支持Splittable压缩lzo

在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。由于压缩的数据通常只有原始数据的1/4，在HDFS中存储压缩数据，可以使集群能保存更多的数据，延长集群的使用寿命。不仅如此，由于 mapreduc

2011-06-29 13:09:00 10111

转载 netperf 与网络性能测量

在构建或管理一个网络系统时，我们更多的是关心网络的可用性，即网络是否连通，而对于其整体的性能往往考虑不多，或者即使考虑到性能的问题，但是却发现没有合适的手段去测试网络的性能。当开发出一个网络应用程序后，我们会发现，在实际的网络环境使用中，网络应用程序的使用效果不是很理想，问题可能出现在程序的开发上面，也有可能由于实际的网络环境中存在着瓶颈。面对这种问题，程序员一般会一筹莫展，原因就在于不掌握一

2011-06-20 17:39:00 6645

转载 Ganglia安装详解（CentOS_5.5_Final版）

1. 安装rrdtool 1.1. 安装依赖包 Ø 拷贝CentOS软件包将CentOS安装光盘中的rpm包拷贝到/root/下，以备使用。 Ø 安装zlib开发包 rpm -ivh /root/CentOS/zlib-devel-1.2.3-3.x86_64.rpm Ø 安装freetype开发包： rpm -ivh /root/CentOS/freetype-devel-

2011-06-20 17:36:00 11456

原创 HBase信息，这个博客日志写的不错，直接转链接

http://www.blogjava.net/ivanwan/archive/2011/06/09.html

2011-06-16 16:46:00 7253

转载提升hbase性能的几个地方

1、hbase对于内存有特别的嗜好，在硬件允许的情况下配足够多的内存给它。通过修改hbase-env.sh中的 export HBASE_HEAPSIZE=3000 #这里默认为1000m2、修改java虚拟机属性 (1)、在环境允许的情况下换64位的虚拟机 (2)、替换掉默认的垃圾回收器，因为默认的垃圾回收器在多线程环境下会有更多的wait等待 ex

2011-06-16 16:39:00 9485 1

性能测试小结：测试环境：机器：1 client 5 regin server 1 master 3 zookeeper 配置：8 core超到16 /24G内存，region server分配了4G heap /单seta磁盘,raid10后500GB 系统：Red Hat Enterprise Linux Server release 5.4 版本：hadoop-0.20.2+737 / hbase-0.90.1 / Java HotSpot(TM) 64-Bit

2011-05-23 10:53:00 17930

转载对提高HBase写性能的一些思考

以下为使用hbase一段时间的三个思考，由于在内存充足的情况下hbase能提供比较满意的读性能，因此写性能是思考的重点。希望读者提出不同意见讨论 1 autoflush=false的影响无论是官方还是很多blog都提倡为了提高hbase的写入速度而在应用代码中设置autoflush=false，然后lz认为在在线应用中应该谨慎进行该设置。原因如下： a autoflush=false的原理是当客户端提交delete或put请求时，将该请求在客户端缓存，直到数据超过2M(hbase.c

2011-05-23 10:42:00 18195 2

转载 windows下eclipse perl插件epic的安装及配置

为了在Windows下使用Perl，需要安装ActivePerl。ActiverPerl现在有两个版本ActivePerl 5.10.0.1003和ActivePerl 5.8.8.822，你可以自由选择其中之一下载安装。网址为： http://www.activestate.com/store/download.aspx?prdGUID=81fbce82-6bd5-49bc-a915-08d58c2648ca 安装完以后就可以在CMD中查看是否安装成功 perl –v Perl -V 是查看Per

2011-04-29 14:15:00 19360 2

原创 Perl学习记录(二) -- 逻辑控制

一、if语句。个人感觉相当类似于java的判断，直接贴上代码，共自己以后参考。 #!/usr/bin/perl$abc = "dajuezhao";if ($abc eq "dajuezhao"){ print "yes";}else{ print "no"; }print "/n";做了个if的判断，如果变量abc等于dajuezhao，那么，控制台输出yes，否则输出no。运行结果如图：2、关于布尔值。

2011-04-28 16:35:00 7828

原创 Perl学习记录(一) -- HelloWorld

因为工作关系，发现Perl是一个很不错的语言，轻巧，灵便，所以决定花点业余时间学习一下，从今天开始不定期的记录学习过程，但愿能够有我结尾的那一篇出现。祈祷、阿门～～！一、安装环境开发环境采用的是Windows系统，所以我选择了eclipse的插件EPICplugins作为编辑工具。安装步骤如下： 1、在eclipse中http://e-p-i-c.sf.net/updates设置下载地址。 2、自动更新、下载、安装、完事。这里完成之后，再安装ActivePerl，直接在360软件中心找，很方

2011-04-27 16:53:00 5694

原创生成HFile以及入库到HBase

一、MR生成HFile文件package insert.tools.hfile;import java.io.IOException;import org.apache.hadoop.conf.Configuration;import org.apache.ha

2011-04-26 18:38:00 22558 9

原创基于CentOS安装CDH3Beta4版的Hadoop和HBase

一、背景因为最近使用hadoop发现了一些问题，而且也没有太多的时间去对其本身进行修改，所以，在朋友的建议下采用了cloudera的CDH3版本。相对来说比较稳定和可靠，官网的地址如下：http://www.cloudera.com/ 二、CentOS和JDK安装步骤 1、进入到centOS的官方网址http://isoredirect.centos.org/centos/5/isos/x86_64/。 2、选一个镜像点击进去，下载CentOS-5.5-x86_64-bin-DVD.torrent

2011-04-26 15:46:00 3816

原创通过web页面查看HDFS文件系统

一、背景因为做hadoop的开发，所以有些时候需要通过web对hdfs文件系统进行查看。如果开发机器是Linux系统，那么只要更改/etc/hosts文件就可以了，但是在Windows下，通过web页面查看，通常会报错，说是找不到域名。因此带来十分不方便。二、操作修改C:/WINDOWS/system32/drivers/etc/hosts文件，内容同样和Linux下修改方式一下。例如我现在有三台机器构成的测试集群： Master：10.0.14.110 机器名称：m110 Slave：

2011-04-26 15:26:00 25830

原创 HBase入库性能问题

这个文档置顶很久了，还是写点东西吧。HBase这个东西的入库速度说实在的，在多列族的情况下表现很一般，实在是不值得提。具体的原因是由于多列族在hbase的写入机制决定的，有兴趣的可以在网上找找资料，这里我只说单列族的情况下的我的测试结果：集群的规模为9(S)+

2011-04-13 11:05:00 6321 3

转载关于Hadoop数据块Miss在页面提示的问题

这个文档转至台湾的已了论坛，地址是：http://hadoop.nchc.org.tw/phpbb/viewtopic.php?f=4&t=1938請教一個hadoop運行維護中的問題：背景：調整hadoop配置：1. hadoop的dfs.replication之前設置為1，現在改為3；2. 去掉一個節點，增加6個節點。現狀50070頁面出現提示：WARNING : There are about 900 missing blocks. Please check the log or run fsck.運

2011-04-13 10:06:00 15560

转载 HBase简介

一、简介 history started by chad walters and jim 2006.11 G release paper on BigTable 2007.2 inital HBase prototype created as Hadoop contrib 2007.10 First useable Hbase 2008.1 Hadoop become Apache top-level project an

2011-03-15 16:32:00 4073 3

空空如也

空空如也