- 博客(12)
- 资源 (8)
- 收藏
- 关注
原创 Hadoop SafeModeException: xxxxxxx. Name node is in safe mode解决办法
如上图所示,在copy文件的时候,提示“Name node is in safe mode”,这表示Hadoop的NameNode正处于安全模式,解除的办法是,执行命令:hadoop dfsadmin -safemode leave附dfsadmin命令参数解释:hadoop dfsadmin -safemode value参数value的说明如下:enter - 进入
2012-04-23 18:10:53 4048
原创 【转载】Hadoop FS Shell命令大全
调用文件系统(FS)Shell命令应使用 bin/hadoop fs 的形式。 所有的的FS shell命令使用URI路径作为参数。URI格式是scheme://authority/path。对HDFS文件系统,scheme是hdfs,对本地文件系统,scheme是file。其中scheme和authority参数都是可选的,如果未加指定,就会使用配置中指定的默认scheme。一个HDFS文件或目
2012-04-23 14:20:57 3196
原创 【转载】HBase Coprocessor的分析
hbase Coprocessor是很多人对hbase-0.92的重大期待之一。它让离线分析和在线应用很好地结合在了一起,另外也极大地拓展了hbase的应用丰富性,不再是简单的k-v类应用。hbase coprocessor的设计来源于hbase-2000和hbase-2001两个issue。那么几年过去了,hbase coprocessor究竟发展到什么程度,可以将它们用于哪些地方呢?下文主要内
2012-04-17 17:39:15 2916
原创 【转载】HBase性能优化方法总结(4):读表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第三部分内容:读表操作相关的优化方法。3. 读表操作3.1 多HTable并发读创建多个HTable客户端用于读操作,提高读数据的吞吐量,一个例子:static final Configuration conf = H
2012-04-17 17:35:26 8455
原创 【转载】HBase性能优化方法总结(3):写表操作
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第二部分内容:写表操作相关的优化方法。2. 写表操作2.1 多HTable并发写创建多个HTable客户端用于写操作,提高写数据的吞吐量,一个例子:static final Configuration conf = H
2012-04-17 17:34:02 9086
原创 【转载】HBase性能优化方法总结(2):表的设计
本文主要是从HBase应用程序设计与开发的角度,总结几种常用的性能优化方法。有关HBase系统配置级别的优化,可参考:淘宝Ken Wu同学的博客。下面是本文总结的第一部分内容:表的设计相关的优化方法。1. 表的设计1.1 Pre-Creating Regions默认情况下,在创建HBase表的时候会自动创建一个region分区,当导入数据的时候,所有的HBase客户端都向这一个re
2012-04-17 17:32:22 6119
原创 【转载】HBase性能优化方法总结(1):配置优化
配置优化zookeeper.session.timeout默认值:3分钟(180000ms)说明:RegionServer与Zookeeper间的连接超时时间。当超时时间到后,ReigonServer会被Zookeeper从RS集群清单中移除,HMaster收到移除通知后,会对这台server负责的regions重新balance,让其他存活的RegionServer接管.调优:
2012-04-17 16:13:04 3355
原创 文档收藏
1、云计算1)HBase官方文档_中文版 http://www.yankay.com/wp-content/hbase/book.html#build原英文版 http://hbase.apache.org/book.html#java2)Java 6 JVM参数选项大全(中文版) http://kenwublog.com/docs/java6-jvm-options-chines
2012-04-17 11:18:30 1462
原创 【转载】HBase基本概念和hbase shell常用命令用法
1. 简介 HBase是一个分布式的、面向列的开源数据库,源于google的一篇论文《bigtable:一个结构化数据的分布式存储系统》。HBase是Google Bigtable的开源实现,它利用Hadoop HDFS作为其文件存储系统,利用Hadoop MapReduce来处理HBase中的海量数据,利用Zookeeper作为协同服务。2. HBase的表结构 HBase以表的
2012-04-17 10:59:22 47250 1
原创 Struts2读取配置文件的顺序
顺序如下,越靠后优先级越高,即后面的会覆盖前面的配置:1.stuts-default.xml2.struts-plugin.xml3.struts.xml4.struts.properties5web.xml
2012-04-12 14:54:05 2678
原创 【转载】SVN常见问题及相关原因,供各位查阅
1. svn: Server sent unexpected return value (500 InternalServer Error) in response to OPTIONS request for'http://svn.moon.ossxp.com/svn/test'错误的用户名 检查登录的用户名是否输入错误 svn: 服务器发送了意外的返回值(500 Inter
2012-04-02 12:30:12 45625
原创 【转载】使用Ant进行ssh和scp操作
一、简介: 现在我们安装Linux的时候通常考虑到安全因素(默认情况下)是不打开telnet服务的,而ssh服务是有的,ant很早就支持telnet,但要求我们在Linux下要安装telnet-server,并要启用该服务。还好自Ant1.60开始支持了SSH 及SCP 操作了,早在Ant之前若要支持SSH、SCP、SFTP等任务就必须下载j2ssh的j2ssh-ant.jar和j2ssh-
2012-04-01 16:48:14 5714
VC6.0显行号插件和自动提示功能
2010-01-09
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人